mac搭建伪分布式hbase遇到的坑

搭建伪分布式hbase需要搭建zookeeper、hadoop、hbase。

mac上搭建hbase集群，大体上和linux一致，在这里总结一下遇到的坑。

1、host文件配置

路径/etc/hosts
127.0.0.1	localhost
255.255.255.255	broadcasthost
#::1             localhost
127.0.0.1  hadoop001

2、修改hostname

sudo scutil --set HostName hadoop001

3、zookeeper日志

安装目录/zookeeper-3.4.5-cdh5.7.0/tmp/version-2

hbase很多信息会存储在日志中，整个tmp目录可删除，重新启动

4、hadoop日志

安装目录/hadoop-2.6.0-cdh5.7.0/logs

异常以及数据日志都会记录在logs中，如果配置文件如hostname有修改，各种奇怪的异常，可停止hdfs，删除日志。

hadoop的数据（配置文件配置）

安装目录/hadoop-2.6.0-cdh5.7.0/tmp

hadoop初始化namenode以及以后的数据都存在tmp下，多次初始化namenode会导致clusterId不一致，启动报错。可删除整个tmp目录。重新格式化namenode

5、hbase的日志在

安装目录/hbase-1.2.0-cdh5.7.0/logs

搭建hbase问题大多在于与zookeeper的通信，与hadoop的通信是否正常，另外一定要考虑到版本不兼容的问题，所以建议用cdh找到版本一致的组件

慕课网老师讲课用的5版本，下面是网址，这里有大数据集群的所有组件

http://archive.cloudera.com/cdh5/cdh/5/