Hadoop踩坑

Hadoop踩坑

在使用hive数据仓库时，前一天还用的好好的，第二天运行命令会卡在kill command
上网查找是内存的问题，修改yarn-site.xml配置文件依旧没有解决
通过清除hdfs中的一些文件，释放空间，并清空回收站

hdfs dfs -expunge

再运行命令不是卡在kill command，卡在了map=0,reduce=0
再通过网上的方法修改yarn-site.xml命令运行成功

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

---

总结：报错的原因首先是hdfs内存不够吧，然后是因为CPU分配给mapreduce运行的内存不够