企业级Hadoop部署参数调整

1.节点内核参数调整 

   – ulimit,/etc/security/limits.conf 设置 nofile  （同时打开文件数量的限制）

   – THP (Transparent Huge Page)、ACPI、内存overcommit问题 

   – 不同功能的节点进行不同设置 • 耗内存?swap?
   • 需要高磁盘吞吐?
   • CPU,system load高的节点?  

2.HDFS设置

– HDFS block size:dfs.block.size
– Replication Factor:dfs.replication
– 是否开启dfs.permissions、及fs.permissions.umask-mode设置 – 用户权限
– DataNode的dfs所在磁盘分区