目录
0. 相关文章链接
CentOS7安装CDH(二):CentOS7各个软件安装和启动
CentOS7安装CDH(五):CDH的安装和部署-CDH5.7.0
CentOS7安装CDH(六):CDH的管理-CDH5.12
CentOS7安装CDH(七):CDH集群Hadoop的HA配置
CentOS7安装CDH(八):CDH中对服务和机器的添加与删除操作
1. 机器选型
机器选型时从CPU,MEMORY和DISK3个方面来选:
CPU:云服务器 |刀片服务器 (192G/56核/10T 7w人民币 --> 6台 32G/8核)
MEMORY: 越多越好
DISK: 评估当前未来2-3年的存储量 >7200转 IO ( 5块/2T/10000转)
NetWork: 千兆/万兆 局域网
2. Linux参数
以下Linux参数设置为在centos6.x中通用,但在centos7应该也能使用:
1、句柄数 文件数 线程数
echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
echo "* soft nproc 65535" >> /etc/security/limits.conf
echo "* hard nproc 65535" >> /etc/security/limits.conf
echo "* soft nproc 65535" >>/etc/security/limits.d/90-nproc.conf
2、网络参数
more /etc/sysctl.conf |grep net.core.somaxconn
sysctl -w net.core.somaxconn=32768
echo net.core.somaxconn=32768 >> /etc/sysctl.conf
#生效
sysctl -p
3、调节交换内存(swap)
# 调节命令
more /etc/sysctl.conf | vm.swappiness
echo vm.swappiness = 10 >> /etc/sysctl.conf
#生效
sysctl -p
# 说明
vm.swappiness = 0 禁用? 不是,惰性最大(积极性最差),但依然会使用swap
vm.swappiness = 10 惰性稍微大(积极性稍等差),使用swap
计算密集型作业 --》swap不启用,仅仅使用内存计算,当内存不够,作业自动被yarn kill 不允许慢,可以允许挂
不是密集型计算 swap启用,允许作业慢,但不允许挂
可以使用free -h命令查看swap的使用情况:
4、关闭大页面
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local
3. HDFS调优
在HDFS的config中配置如下参数:
<property>
<name>ipc.server.listen.queue.size</name>
<value>32768</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>65536</value>
</property>
4. YARN调优
在yarn的config的core-site.xml中配置如下配置:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>8192</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
<discription>单个任务可申请最少内存,默认1024MB</discription>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>8192</value>
<discription>单个任务可申请最大内存,默认8192MB</discription>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property>
5. 调优网站
更多调优请参考如下2个网站,里面有关于CDH中的调优的详细介绍: