spark on yarn模式里需要有时手工释放linux内存

 

 

　　为什么要提出这个问题?

spark跑YARN模式或Client模式提交任务不成功（application state: ACCEPTED）

 

 

 

 　　然后执行

[spark@master spark-1.6.1-bin-hadoop2.6]$ su root
Password: 
[root@master spark-1.6.1-bin-hadoop2.6]# echo 1 > /proc/sys/vm/drop_caches
[root@master spark-1.6.1-bin-hadoop2.6]# echo 2 > /proc/sys/vm/drop_caches
[root@master spark-1.6.1-bin-hadoop2.6]# echo 3 > /proc/sys/vm/drop_caches

 

 

 

 

 

 

 

参考

手工释放linux内存——/proc/sys/vm/drop_cache

http://www.linuxidc.com/Linux/2010-03/24939.htm