运维：大数据（hadoop、spark）性能优化

Linux优化

调大预读缓冲区大小来提高性能

https://blog.csdn.net/xiaolang85/article/details/17790267

【JC】HDFS的可以调整为blockdev --setra 8192 /dev/sda

 

在Linux中，使用noatime选项挂载磁盘，以减少不必要的写入操作。

可以减少记录最新一次更新时间。

 

查看io负载

CentOS 7.2中磁盘iowait过高解决 https://www.linuxidc.com/Linux/2017-08/146267.htm

Iowait的成因、对系统影响及对策 https://blog.csdn.net/yunlianglinfeng/article/details/77822295

iowait 过高问题的查找及解决linux https://www.cnblogs.com/happy-king/p/9234122.html

iostat是I/O statistics（输入/输出统计）的缩写，用来动态监视系统的磁盘操作活动。

iostat程序需要通过sysstat包安装

<