1.环境变量
上图的写到.bashrc或/etc/profile
同步至其他节点
2. hostname
3台虚拟机,分别如下:
域名 | ip地址 |
node1 | 192.168.233.135 |
node2 | 192.168.233.134 |
node3 | 192.168.233.131 |
hostname node* 分别设置主机名
修改/etc/hosts(ubuntu)
并同步至其他节点
3. ssh免密码登录
在node1上,生成公钥, ssh-keygen -t rsa, 各个节点最好保持同样的用户名和密码,同步至其他节点。
4. hadoop分布式配置
这里hadoop只是简单配置一下
node1 namenode
node2 /node3 datanode
1)hadoop-env.sh
export JAVA_HOME= #设置JAVA_HOME
2) core-site.xml
1 <configuration> 2 <property> 3 <name>fs.defaultFS</name> 4 <value>hdfs://192.168.233.135:9000</value> #很重要 5 </property> 6 </configuration>
3)hdfs-site.xml
1 <configuration> 2 <property> 3 <name>dfs.replication</name> 4 <value>1</value> 5 </property> 6 7 </configuration>
4)etc/hadoop/slaves
配置datanode节点
一行一个主机ip或域名地址
5) 执行 hdfs namenode -format
6) start-all.sh
7)正常情况如下图:
node1
node2/node3
8) 注意事项
/etc/hosts一定要配置正确, 不要使用localhost,如果出现这个错误:
Problem binding to /10.210.70.57:60020 : Cannot assign requested address。
很大可能就是hosts不对。
5.hbase完全分布式搭建
前提:hadoop分布式环境
node1 Hmaster
node2/node2 HRegionServers
1)hbase-env.sh
2) hbase-site.xml
1 <property> 2 <name>hbase.cluster.distributed</name> #必须为true 3 <value>true</value> 4 </property> 5 <property> 6 <name>hbase.rootdir</name> #hadoop fs.defaultFS地址 7 <value>hdfs://192.168.233.135:9000/hbase</value> 8 </property> 9 <property> 10 <name>hbase.zookeeper.quorum</name> #决定哪些节点上启动zookeeper 11 <value>192.168.233.135,192.168.233.134,192.168.233.131</value> 12 </property> 13 <property> 14 <name>hbase.zookeeper.property.dataDir</name> 15 <value>/usr/local/zookeeper</value> 16 </property>
3) conf/regionservers
4) start-hbase.sh
5)正常情况如下图
node1
node2/node3
6) hbase shell,插入数据不报错,就说明正常