在运行hibench用例wordcount时出现虚拟内存超出错误,详细日志在/hibench/report/wordcount/spark/bench.log中
错误原因是进程需要的虚拟内存超出自己的虚拟内存
- 增加虚拟内存比例
- 增加内存
- 减少job内存
修改/hadoop/etc/hadoop/yarn-site.xml配置
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>4</value>
</property>
注意集群同步!!!卡了两天
跑hibench失败可能的原因 安全模式未关闭,内存不够