hdfs性能调优

转载 2016年08月29日 16:44:16

参照官方文档:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html

1)对YARN调优:


我们实际是2颗CPU,一共24核心数,上面的服务用掉了5核,还剩下24-5=19核心

我们实际的64G的内存,64-1-1-(64*20%)=49G

修改YARN的配置页面,按照上面的算法修改配置参数:



修改参数过后需要重启集群


 

2)对系统优化:

File System:

Linux文件系统中为了保证root能够登录到操作系统中,需要保留一定的磁盘空间,默认这个值设置为5%。但是当前磁盘空间都是TB级别的,因此保留5%就会造成一大部分空间的浪费,对于一块4TB来说就是200G。

下面的命令可以将保留磁盘空间的容量设置成1%:

tune2fs –m 1 /dev/sdaX

12块硬盘增加noatime的参数:

/dev/sda1   /data1  ext4    defaults,noatime    0   0  

修改完设置后需要重新挂载文件系统,不需要重启。

mount -o remount /dev/sdX1



转载:http://blog.csdn.net/jdzms23/article/details/44495167

相关文章推荐

HDFS性能优化

分布式文件系统是在多个节点上做的数据文件的部署,所以,当多个节点之间要做数据的传输通信时,就要有一个文件目录的管理者和网络带宽的使用。当namenode的可使用的内存空间和网络带宽可使用率非常大时,实...

Hadoop性能调优总结(一)

目的 随着企业要处理的数据量越来越大,Hadoop运行在越来越多的集群上,同时MapReduce由于具有高可扩展性和容错性,已经逐步广泛使用开来。因此也产生很多问题,尤其是性能方面的...
  • chndata
  • chndata
  • 2015年05月26日 08:54
  • 5012

hdfs性能调优

参照官方文档:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuni...
  • jdzms23
  • jdzms23
  • 2015年03月20日 17:47
  • 4028

Hadoop性能调优

Hadoop为用户作业提供了多种可配置的参数,以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。 一 应用程序编写规范 1.设置Combiner        ...

hdfs+yarn 参数调优

1.系统参数调整 中文名称 英文名称 默认值 推荐值或推荐策略 修改命令 作用 备注 socket的监听队列最大值 net...

hdfs吞吐调优

  • 2014年05月20日 17:37
  • 14KB
  • 下载

【配置CDH和管理服务】关闭DataNode前HDFS的调优

配置CDH和管理服务 关闭DataNode前HDFS的调优 角色要求:配置员、集群管理员、完全管理员   当一个DataNode关闭,NameNode确保每一个DataNode中的每一个块根据...

MySQL性能调优与架构设计

  • 2017年11月01日 13:55
  • 57.27MB
  • 下载

融通学苑系列之ORACLE性能调优

  • 2017年11月15日 17:52
  • 5.8MB
  • 下载

mybatis SQL性能调优

Mybatis SQL性能调优         1.  Mapper层参数为Map,由Service层负责重载       Mapper由于机制的问题,不能重载,参数一般设置成Map,但...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hdfs性能调优
举报原因:
原因补充:

(最多只允许输入30个字)