hadoop集群swap_Hadoop之linux调优

Hadoop之linux调优

标签： hadoop linux

1. 增大文件描述符nofile(查看当前的lsof |wc -l) 和 用户最大进程nproc

a. 调整Linux的最大文件打开数:

>> vim /etc/security/limits.conf

* soft nofile 65535

* hard nofile 65535

* soft nproc 65535

* hard nproc 65535

b. RHEL6下引入了配置文件:

>> vim /etc/security/limits.d/90-nproc.conf

soft nproc 65535

c. pam_limits.so 文件被加入到启动文件

>> vim /etc/pam.d/login session required /lib/security/pam_limits.so session required pam_limits.so

d.重启系统

>> reboot

#######只针对当前session会话,快速设置

>> ulimit -u

1024

>> ulimit -u

65535

>> ulimit -u

65535

-n 　指定同一时间最多可打开的文件数。

-u 　用户最多可启动的进程数目。

2. 网络(两个网络相关的参数可以影响Hadoop的性能。net.core.somaxconn Linux内核设置能够支持NameNode和JobTracker的大量爆发性的HTTP请求)

a. net.core.somaxconn是listen(