Hadoop系列深入优化

 

1、 操作系统调优

       1）增大打开文件数据和网络连接上限，调整内核参数net.core.somaxconn，提高读写速度和网络带宽使用率

       2）适当调整epoll的文件描述符上限，提高Hadoop RPC并发

       3）关闭swap。如果进程内存不足，系统会将内存中的部分数据暂时写入磁盘，当需要时再将磁盘上的数据动态换置到内存中，这样会降低进程执行效率

       4）增加预读缓存区大小。预读可以减少磁盘寻道次数和I/O等待时间

       5）设置openfile

 

2、Hdfs参数调优

     core-site.xml

    hadoop.tmp.dir：默认值： /tmp

    说明： 尽量手动配置这个选项，否则的话都默认存在了里系统的默认临时文件/tmp里。并且手动配置的时候，如果服务器是多磁盘的，每个磁盘都设置一个临时文件目录，这样便于mapreduce或者hdfs等使用的时候提高磁盘IO效率。

 

    fs.trash.interval：默认值： 0

    说明： 这个是开启hdfs文件删除自动转移到垃圾箱的选项，值为垃圾箱文件清除时间（分钟）。一般开启这个会比较好，以防错误删除重要文件。

 

   io.file.buffer.size：默认值