hadoop2.0集群的搭建
使用四台虚拟物理机搭建集群
集群各角色的分配
搭zookeeper集群
解压 解压zookeeper包 修改文件名 修改zookeeper的配置文件,将其重命名 修改文件 修改/etc/profile,加上zookeeper的bin目录 设置路径 将dataDir目录改为自己规划的目录 追加 在文件最后加上zookeeper体系三个节点的ip:2888:3888 创建 手动创建zk,并创建文件myid,在不同节点上用不同的数字命名 开启 开启zookeeper进程 zkServer.sh start 查看进程状态 zkServer.status
- 修改hadoop配置文件
修改hdfs-site.xml
命名nameservices
命名两个NameNode的名称
分别指定两个NameNode的rpc地址-》主机名:8020
分别指定两个NameNode的http地址-》主机名:50070,用于浏览器查看集群状态
配置edits log的地址,协议是qjournal,jnn分布的主机名:8485,加上一个路径,用于区分不同集群的edits log文件
配置本地edits log文件存放地址
dfs.client.failover.proxy.provider.mycluster
dfs.ha.fencing.methods
dfs.