HADOOP调优与运维问题汇总

一、Hadoop调优

1、调整操作系统打开文件描述符的上限

通过命令“ ulimit -a”可以看到所有系统资源参数，这里面需要重点设置的是“open files”和“max user processes”，其它可以酌情设置。

要永久设置资源参数，主要是通过下面几个文件来实现：

/etc/security/limits.conf 
/etc/security/limits.d/90-nproc.conf(centos6.x)
/etc/security/limits.d/20-nproc.conf(centos7.x)

2、修改net.core.somaxconn参数

此内核参数对应的具体文件路径为/proc/sys/net/core/somaxconn，它用来设置socket监听（listen）的backlog上限。

什么是backlog呢？

backlog就是socket的监听队列，当一个请求（request）尚未被处理或建立时，他会进入backlog。而socket server可以一次性处理backlog中的所有请求，处理后的请求不再位于监听队列中。如何