最近在做课程设计,主要流程是从csv文件中采集数据,存储到HBase中,然后用MapReduce对数据进行统计分析。期间遇到了一些问题,通过各种搜索终于得到解决。在这里将这些问题及其解决方法记录下来。
1.HBase的HMaster自动关闭问题
进入zookeeper里面,删除HBase的数据(慎用),然后重启HBase
./zkCli.sh
rmr /hbase
stop-hbase.sh
start-hbase.sh
2.用Maven打包时多模块依赖的处理
项目结构如下图
其中ETL和statistics两个模块都引用了common模块,在对其单独打包时提示找不到common依赖,打包失败。
解决步骤:
1.对common进行maven package与maven install,我用的是IDEA,直接在右边maven中进行操作。
2.在最外层的总项目(root)运行maven clean 与maven install 命令