1. 解决sqoop 慢的问题。 报错:YARN异常YarnException:Failed while publishing entity的解决方案
2.场景架构
基础平台架构是采用Ambari
mysql —> sqoop --> hdfs 的数据同步 在同步的过程中发现很慢数据量特别少的时候也特别的慢 任务都是在五分钟后才执行
3.看问题的过程
3.1. 查看yarn 的任务
3.2 通过Application ID 点击进去可以看到日志
3.3 看到日志错误
解决方案: 原因,解决这个问题的方法需要重置ATsv2内嵌HBASE数据库 然后删除rmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure
先停止yarn 服务
Ambari -> Yarn-Actions -> Stop
然后进入到
cd /usr/hdp/3.1.4.0-315/zookeeper/bin/
zk: localhost:2181(CONNECTED) 0] ls /
[registry, cluster, controller, brokers, zookeeper, hbase-unsecure, admin, isr_change_notification, log_dir_event_notification, hiveserver2, controller_epoch, hiveserver2-leader, rmstore, atsv2-hbase-unsecure, ambari-metrics-cluster, consumers, latest_producer_id_block, config]
[zk: localhost:2181(CONNECTED) 1] rmr /atsv2-hbase-unsecure
然后在删除hdfs 中 的
hdfs dfs -rm -r /atsv2/hbase/tmp/
重新驱动执行很快需要5秒钟就执行完毕