HBase-MapReduce开发过程中遇到的一些问题

最近在做课程设计,主要流程是从csv文件中采集数据,存储到HBase中,然后用MapReduce对数据进行统计分析。期间遇到了一些问题,通过各种搜索终于得到解决。在这里将这些问题及其解决方法记录下来。

1.HBase的HMaster自动关闭问题

进入zookeeper里面,删除HBase的数据(慎用),然后重启HBase

./zkCli.sh
rmr /hbase
stop-hbase.sh 
start-hbase.sh 

2.用Maven打包时多模块依赖的处理

项目结构如下图

在这里插入图片描述

其中ETL和statistics两个模块都引用了common模块,在对其单独打包时提示找不到common依赖,打包失败。

解决步骤:

1.对common进行maven package与maven install,我用的是IDEA,直接在右边maven中进行操作。

在这里插入图片描述

2.在最外层的总项目(root)运行maven clean 与maven install 命令

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值