hadoop集群swap_hadoop集群调优－OS和文件系统部分

OS and File System

根据Dell(因为我们的硬件采用dell的方案)关于hadoop调优的相关说明，改变几个Linux的默认设置，Hadoop的性能能够增长大概15%。

open file descriptors and files

文件描述符是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开，文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。

在Linux系列的操作系统上，由于Linux的设计思想便是把一切设备都视作文件。因此，文件描述符为在该系列平台上进行设备相关的编程实际上提供了一个统一的方法。

在CentOS中通过下面的命令查看：

cat /proc/sys/fs/file-max

800000

也可以通过查看文件中的内容来查看，其中的fs.file-max定义了最大的打开文件描述符数量：

cat /etc/sysctl.conf

fs.file-max = 800000

net.core.rmem_default = 12697600

net.core.wmem_default = 12697600

net.core.rmem_max = 873800000

net.core.wmem_max = 655360000

net.ipv4.tcp_rmem = 8192 262144 4096000

net.ipv4.tcp_wmem = 4096 262144 4096000

net.ipv4.tcp