sqoop从数据库到处数据到hdfs时mapreduce卡住不动解决

在sqoop时从数据库中导出数据时，出现mapreduce卡住的情况

经过百度之后好像是要设置yarn里面关于内存和虚拟内存的配置项．我以前没配置这几项，也能正常运行。但是这次好像运行的比较大。出现此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求。

 

解决方案如下：

在yarn-site.xml中加入如下配置：

 

1. <property>  

2.     <name>yarn.nodemanager.resource.memory-mb</name>  

3.     <value>20480</value>  

4. </property>  

5. <property>  

6.    <name>yarn.scheduler.minimum-allocation-mb</name>  

7.    <value>2048</value>  

8. </property>  

9. <property>  

10.     <name>yarn.nodemanager.vmem-pmem-ratio</name>  

11.     <value>2.1</value>  

12. </property>  

 

关闭yarn重启就好了！！！