sqoop执行作业: map:100% reduce:0%卡住
我的情况是使用sqoop从hive向RDBMS中导入数据出现的。
对于这种情况:绝大多数都是yarn的配置问题。内存与CPU的资源不够。
解决:更改yarn中的设置
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>