hadoop集群环境搭建
参考前面的hadoop集群搭建文档,搭建了三个服务器的集群如下
feixu-master namenode, secondaryNamenode, jobtracker
feixu-slave1 datanode, tasktracker
feixu-slave2 datanode, tasktracker
zookeeper集群环境搭建
zooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。
从conf/zoo_sample.cfg复制文件conf/zoo.cfg并添加如下配置
dataDir=/hadoop/zookeeper
在每个节点上启动zookeeper服务
sh bin/zkServer.sh start
sh bin/zkServer.sh status 查看当前节点是否是leader
HBase集群环境搭建
修改hbase-env.sh文件如下
修改hbase-site.xml文件如下
conf/regionservers 相当于hadoop的slave
启动所有hbase进程
bin/start-hbase.sh
master机器的进程
slave机器的进程2255 SecondaryNameNode
3745 QuorumPeerMain
2115 NameNode
4192 HMaster
4461 Jps
2333 JobTracker
1850 QuorumPeerMain
1502 DataNode
2091 HRegionServer
1590 TaskTracker
2292 Jps