大数据
文章平均质量分 67
牛鼻子老赵
从业数年,随着年龄增长、记忆力逐渐衰退,记录下来不为别的,防止遗忘,同时也希望可以给软件行业的后生们贡献出自己的知识力量。
展开
-
CentOS6.7-hadoop环境搭建
1、安装时netconfig修改为自动连接2、vi /etc/sysconfig/network-script/ifcfg-eth0ONBOOT=yesBOOTPROTO=staticIPADDR=192.168.159.100(net网段)NETMASK=255.255.255.0(子网掩码)GATEWAY=192.168.159.2(网关)DNS1=192.168.159.2...原创 2018-09-05 00:07:50 · 166 阅读 · 0 评论 -
sparkRDD入门程序
sc.makeRDD(0 to 10)res0.collectsc.parallelize(1 to 10)res2.collectsc.makeRDD(Array(1,2,3))数值型RDD[Int] RDD[Int,(String,Int)]键值对RDD(Int,String)所有的键值对型RDD都可以看作数值型RDDval rdd = sc.makeRDD(1 t...原创 2018-09-05 00:22:03 · 235 阅读 · 0 评论 -
Hbase安装部署及入门
export JAVA_HOME=/root/apps/jdk1.7.0_80export HBASE_MANAGES_ZK=falsecp /root/apps/hadoop/etc/hadoop/hdfs-site.xml /root/apps/hbase/confcp /root/apps/hadoop/etc/hadoop/core-site.xml /root/apps/h...原创 2018-09-05 00:21:01 · 147 阅读 · 0 评论 -
hive安装部署及入门
1、tar zxvf apache-hive-1.2.1-bin.tar.gz mv apache-hive-1.2.1-bin hive2、vi /etc/profile export HIVE_HOME=/root/apps/hive export PATH=$PATH:$HIVE_HOME/bin 3、source /etc/profile4、启动hive bi...原创 2018-09-05 00:19:57 · 285 阅读 · 0 评论 -
Linux环境下的azkaban安装部署
tar zxvf azkaban-web-server-2.5.0.tar.gz tar zxvf azkaban-sql-script-2.5.0.tar.gz tar zxvf azkaban-executor-server-2.5.0.tar.gz rm -rf *.gzmv azkaban-web-2.5.0 servermv azkaban-executor-2.5.0 ...原创 2018-09-05 00:18:27 · 1061 阅读 · 2 评论 -
flume安装
1、tar zxvf apache-flume-1.6.0-bin.tar.gz 2、mv flume-env.sh.template flume-env.sh vi flume-env.sh export JAVA_HOME=/root/apps/jdk1.7.0_803、export FLUME_HOME=/root/apps/apache-flume-1.6.0-bi...原创 2018-09-05 00:17:07 · 103 阅读 · 0 评论 -
linux环境下的spark集群搭建
1、tar zxvf sparkXXX2、mv mv slaves.template slaves hadoop2 hadoop33、mv spark-env.sh.template spark-env.sh SPARK_MASTER_HOST=hadoop1 SPARK_MASTER_PORT=70774、vi spark-config.sh ...原创 2018-09-05 00:15:54 · 192 阅读 · 0 评论 -
zookeeper集群搭建
tar -zxvf zookeeper-3.4.5.tar.gzmv zookeeper-3.4.5 zookeepervi /etc/profileexport ZOOKEEPER_HOME=/root/apps/zookeeperexport PATH=$PATH:$ZOOKEEPER_HOME/binsource /etc/profilecd zookeeper/con...原创 2018-09-05 00:13:53 · 127 阅读 · 0 评论 -
CentOS6.7下的hadoop(HA)集群搭建
2台namenode active standBy怎么进行状态切换每台namenode上都有zkfc zookeeper failover controller 部署zookeeper集群进行状态切换当standBy收到active时不会立即把自己的状态变成active为了防止脑裂,会完成一些步骤1、杀掉active 的namenode(ssh kill -9)2、等待ssh的...原创 2018-09-05 00:09:56 · 269 阅读 · 0 评论 -
kafka 集群安装搭建
1、tar -zxvf kafka_2.11-0.11.0.0.tgz2、mkdir /root/apps/kafka_2.11-0.11.0.2/logs3、cd config/vi server.properties#broker的全局唯一编号,不能重复broker.id=1#是否允许删除topicdelete.topic.enable=true#kafka运行...原创 2018-09-05 00:23:03 · 101 阅读 · 0 评论