现象:spark作业启动,可以正常提交到yarn(显示还有很多资源空闲),不论给作业分配多少资源,但是作业使用资源数不变。
解决方法:调整系统资源限制。具体操作如下:
1.句柄数 文件数 线程数
echo "* hard nofile 196605" >> /etc/security/limits.conf
echo "* soft nproc 196605" >> /etc/security/limits.conf
echo "* hard nproc 196605" >> /etc/security/limits.conf
重新登录,检查是否生效
open files (-n) 196605
max user processes (-u) 196605
#2.网络、内核、进程能拥有的最多内存区域
echo "kernel.threads-max=196605" >> /etc/sysctl.conf
echo "kernel.pid_max=196605" >> /etc/sysctl.conf
echo "vm.max_map_count=393210" >> /etc/sysctl.conf
#生效
sysctl -p