sqoop进行数据传输的时候,mapreduce任务会卡住,这是因为每个Docker分配的内存和CPU资源太少,不能满足Hadoop和Hive运行所需的默认资源需求。
措施:设置yarn里面关于内存和虚拟内存的配置项,在yarn-site.xml中加入如下配置,并重启yarn:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>