hadoop性能调优

综合看一下了资料，首先jvm相关的需要根据服务器配置合理设置，然后系统层做了一些个人认为效果明显的优化点，还有一些没来得及搞，以后补充：
另外，系统基础的优化就不列了，比如打开进程、文件数限制、关闭swap等。
1、修改net.core.somaxconn参数
查看
sysctl -a|grep somaxconn
临时修改
sysctl -w net.core.somaxconn=32768
永久生效
echo “net.core.somaxconn=32768” >>/etc/sysctl.conf&&sysctl -p
2、noatime 和 nodiratime属性
#开机设置
echo “mount -o noatime -o remount /data” >> /etc/rc.local
#也可以修改/etc/fstab挂载信息实现
/dev/vdb /data ext4 noatime 0 0

3、关闭THP (transparent Huge Pages)
echo never >/sys/kernel/mm/transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/defrag
(需要重启系统)
4、readahead buffer
blockdev --setra 1024 /dev/vdb

5、fs.trash.interval
core-site.xml里加上这段，貌似3.1.2不需要重启集群也生效

fs.trash.interval
60

#再加几个参数

dfs.blockreport.intervalMsec
60000
Determines block reporting interval in milliseconds.

dfs.client.socket-timeout 300000000 dfs.namenode.handler.count 600