hadoop的Pig DUMP运行中出现的异常、运行过久

如果在执行DUMP X表里处理数据时间过久的话,注意回看执行代码下的输出语句,如果出现以下语句,极有可能是未开启JobHistory进程而出现的异常报错
报错

参考:https://www.jianshu.com/p/0f3b5231a19c

注:

  1. 修改文件是只在主节点端下修改。
  2. 原参考里是改/hadoop的安装文件夹/etc/hadoop/map-site.xml的,而在我的主节点下hadoop文件夹下没有map-site.xml的,但有mapred-site.xml。有map-site.xml的就改map-site.xml,没有map-site.xml但有mapred-site.xml就改mapred-site.xml,改mapred-site.xml的内容和改map-site.xml是一样的。
  3. 启动JobHistory(mr-jobhistory-daemon.sh start historyserver)前先已启动hadoop进程(start-all.sh),不然会多了个未知进程的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值