linux下spark-shell中报错java.io.FileNotFoundException (Too many open files)

caused by：java.io.FileNotFoundException: /tmp/blockmgr-f66a6a16-0bf5-4549-8650-bcfc367eafbb/1d/temp_shuffle_634ae49b-6255-4298-a22a-21f6a96bc818 (Too many open files)

该程序需要同时操作许多文件，所以会有报错提示too many open files

原因是由于linux限制了一次会话中，程序最大同时打开文件数目。

1. 查看当前设置

ulimit -n

(默认是1024)

2.临时修改  （在另一个终端执行后，该配置将应用到所有终端）

ulimit -n xxxx



#CentOS7下可打开的最大数量

[root@master]# ulimit -n 1000000
[root@master]# ulimit -n 10000000
-bash: ulimit: open files: cannot modify limit: Operation not permitted

3.永久修改

参考博客： 

https://blog.csdn.net/zhmy_006/article/details/51818311   

https://blog.csdn.net/weixin_41588082/article/details/90747220