sqoop 执行任务的时候 YARN异常YarnException:Failed while publishing entity的解决方案

1. 解决sqoop 慢的问题。 报错：YARN异常YarnException:Failed while publishing entity的解决方案

2.场景架构

基础平台架构是采用Ambari
mysql —> sqoop --> hdfs 的数据同步 在同步的过程中发现很慢数据量特别少的时候也特别的慢 任务都是在五分钟后才执行

3.看问题的过程

3.1. 查看yarn 的任务

3.2 通过Application ID 点击进去可以看到日志

3.3 看到日志错误

解决方案： 原因,解决这个问题的方法需要重置ATsv2内嵌HBASE数据库 然后删除rmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure

先停止yarn 服务
Ambari -> Yarn-Actions -> Stop
然后进入到
cd /usr/hdp/3.1.4.0-315/zookeeper/bin/

zk: localhost:2181(CONNECTED) 0] ls /
[registry, cluster, controller, brokers, zookeeper, hbase-unsecure, admin, isr_change_notification, log_dir_event_notification, hiveserver2, controller_epoch, hiveserver2-leader, rmstore, atsv2-hbase-unsecure, ambari-metrics-cluster, consumers, latest_producer_id_block, config]
[zk: localhost:2181(CONNECTED) 1] rmr /atsv2-hbase-unsecure

然后在删除hdfs 中 的
hdfs dfs -rm -r /atsv2/hbase/tmp/
重新驱动执行很快需要5秒钟就执行完毕