关闭

hdfs性能调优

180人阅读 评论(0) 收藏 举报
分类:

参照官方文档:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html

1)对YARN调优:


我们实际是2颗CPU,一共24核心数,上面的服务用掉了5核,还剩下24-5=19核心

我们实际的64G的内存,64-1-1-(64*20%)=49G

修改YARN的配置页面,按照上面的算法修改配置参数:



修改参数过后需要重启集群


 

2)对系统优化:

File System:

Linux文件系统中为了保证root能够登录到操作系统中,需要保留一定的磁盘空间,默认这个值设置为5%。但是当前磁盘空间都是TB级别的,因此保留5%就会造成一大部分空间的浪费,对于一块4TB来说就是200G。

下面的命令可以将保留磁盘空间的容量设置成1%:

tune2fs –m 1 /dev/sdaX

12块硬盘增加noatime的参数:

/dev/sda1   /data1  ext4    defaults,noatime    0   0  

修改完设置后需要重新挂载文件系统,不需要重启。

mount -o remount /dev/sdX1



转载:http://blog.csdn.net/jdzms23/article/details/44495167

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1420245次
    • 积分:21808
    • 等级:
    • 排名:第332名
    • 原创:470篇
    • 转载:1953篇
    • 译文:3篇
    • 评论:69条
    文章分类
    最新评论
    博客推荐
    http://www.vpser.net/