![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux centos7 hadoop优化
文章平均质量分 55
qq_27593415
这个作者很懒,什么都没留下…
展开
-
一篇hadoop优化文章
1. 增大文件描述符nofile(查看当前的lsof |wc -l) 和 用户最大进程nproca. 调整Linux的最大文件打开数:>> vim /etc/security/limits.conf* soft nofile 65535* hard nofile 65535* soft nproc 65535* hard nproc 65535b. RHEL6下引入了配转载 2016-10-10 09:46:05 · 306 阅读 · 0 评论 -
hadoop优化:文件系统设置noatime
相信对性能、优化这些关键字有兴趣的朋友都知道在 Linux 下面挂载文件系统的时候设置 noatime 可以显著提高文件系统的性能。默认情况下,Linux ext2/ext3 文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳,比如:文件创建时间、最近一次修改时间和最近一次访问时间。因为系统运行的时候要访问大量文件,如果能减少一些动作(比如减少时间戳的记录次数等)将会显著提高磁盘 I原创 2016-10-10 09:25:01 · 442 阅读 · 0 评论 -
hadoop优化:修改linux swap空间的swappiness,降低对硬盘的缓存
linux 会使用硬盘的一部分做为SWAP分区,用来进行进程调度--进程是正在运行的程序--把当前不用的进程调成‘等待(standby)‘,甚至‘睡眠 (sleep)’,一旦要用,再调成‘活动(active)’,睡眠的进程就躺到SWAP分区睡大觉,把内存空出来让给‘活动’的进程。 如果内存够大,应当告诉 linux 不必太多的使用 SWAP 分区, 可以通过修改 swappiness 的数值原创 2016-10-10 09:09:54 · 3343 阅读 · 0 评论 -
hadoop优化:增大文件句柄
在linux服务器大并发调优时,往往需要预先调优linux参数,其中修改linux最大文件句柄数是最常修改的参数之一。在linux中执行ulimit -a 即可查询linux相关的参数,如下所示:[root@mongodb11 ~]# ulimit -acore file size (blocks, -c) 0data seg size原创 2016-10-10 09:06:08 · 1419 阅读 · 0 评论