大数据集群节点操作系统优化

运维仙人

已于 2023-04-09 21:25:01 修改

阅读量312

点赞数

分类专栏：大数据文章标签：大数据 linux bash

于 2023-03-07 00:46:39 首次发布

运维仙人

本文链接：https://blog.csdn.net/weixin_37791303/article/details/129373752

版权

大数据专栏收录该内容

35 篇文章 3 订阅

订阅专栏

概述：系统性能是指操作系统完成任务的有效性、稳定性和响应速度。影响Linux操作系统的性能因素有很多，其中包括系统硬件资源、操作系统相关资源、以及应用软件资源。应用运行在Linux操作系统上，怎样才能充分利用操作系统的内存、cpu、硬盘、网络资源，是一个长期探究的课题，也是IT业内一直要面临的问题。
本节主要介绍操作系统层面的优化，其中包括硬盘资源，内存，网络资源等。应该还有一些不足的，希望可以评论指出。

1. 主机名设置

2. 服务裁剪，关闭一些不必要的服务

3. 修改主机名映射

所有节点都加进到hosts文件里面

   [root@hadoop1012 ~]# cat /etc/hosts
   127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
   ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
   192.168.10.10 hadoop1010
   192.168.10.11 hadoop1011
   192.168.10.12 hadoop1012

3. NameNode主备节点做相互信任

4. 关闭selinux、关闭防火墙

5. 关闭swap、关闭ipv6、脏页配置优化

6. 配置yum服务器

7. 设置统一对时服务器

集群中的所有服务器的时间要保持一致，避免出现节点时间不一致造成的故障

8. 优化Linux系统预读缓冲区

   由于磁盘I/O的速度相对较慢，所以如果一个进程的内存空间不足，那么它会将内存中的部分数据暂时写入磁盘中，当需要用到这部分数据时，再将这部分数据从磁盘写入内存中，即时Swap分区。因此要设置合理的读写缓冲区大小，以提高Hadoop里面大文件顺序读的性能，进而提高I/O性能。

   [root@hadoop1012 ~]# blockdev -h
   
   Usage:
    blockdev -V
    blockdev --report [devices]
    blockdev [-v|-q] commands devices
   
   Available commands:
    --getsz                   get size in 512-byte sectors
    --setro                   set read-only
    --setrw                   set read-write
    --getro                   get read-only
    --getdiscardzeroes        get discard zeroes support status
    --getss                   get logical block (sector) size
    --getpbsz                 get physical block (sector) size
    --getiomin                get minimum I/O size
    --getioopt                get optimal I/O size
    --getalignoff             get alignment offset in bytes
    --getmaxsect              get max sectors per request
    --getbsz                  get blocksize
    --setbsz <bytes>          set blocksize on file descriptor opening the block device
    --getsize                 get 32-bit sector count (deprecated, use --getsz)
    --getsize64               get size in bytes
    --setra <sectors>         set readahead
    --getra                   get readahead
    --setfra <sectors>        set filesystem readahead
    --getfra                  get filesystem readahead
    --flushbufs               flush buffers
    --rereadpt                reread partition table
    
    [root@hadoop1012 ~]# blockdev --getra /dev/sda
   8192
   [root@hadoop1012 ~]# blockdev --getra /dev/sda1
   8192
   [root@hadoop1012 ~]# blockdev --setra 10240 /dev/sda1
   [root@hadoop1012 ~]# blockdev --getra /dev/sda1
   10240

9. I/O调度器选择

I/O调度的4种算法

CFQ(Completely Fair Queuing, 完全公平排队)
特点:
在最新的内核版本和发行版中,都选择CFQ做为默认的I/O调度器,对于通用的服务器也是最好的选择.
CFQ试图均匀地分布对I/O带宽的访问,避免进程被饿死并实现较低的延迟,是deadline和as调度器的折中.
CFQ对于多媒体应用(video,audio)和桌面系统是最好的选择.
CFQ赋予I/O请求一个优先级,而I/O优先级请求独立于进程优先级,高优先级进程的读写不能自动地继承高的I/O优先级.

工作原理:
CFQ为每个进程/线程单独创建一个队列来管理该进程所产生的请求,也就是说每个进程一个队列,各队列之间的调度使用时间片来调度,以此来保证每个进程都能被很好的分配到I/O带宽.I/O调度器每次执行一个进程的4次请求.

NOOP(电梯式调度程序) （我们生产用到了该调度算法）
特点:
在Linux2.4或更早的版本的调度程序,那时只有这一种I/O调度算法.
NOOP实现了一个FIFO队列,它像电梯的工作主法一样对I/O请求进行组织,当有一个新的请求到来时,它将请求合并到最近的请求之后,以此来保证请求同一介质.
NOOP倾向饿死读而利于写.
NOOP对于闪存设备,RAM,嵌入式系统是最好的选择.

电梯算法饿死读请求的解释:
因为写请求比读请求更容易.
写请求通过文件系统cache,不需要等一次写完成,就可以开始下一次写操作,写请求通过合并,堆积到I/O队列中.
读请求需要等到它前面所有的读操作完成,才能进行下一次读操作.在读操作之间有几毫秒时间,而写请求在这之间就到来,饿死了后面的读请求.

Deadline(截止时间调度程序)
特点:
通过时间以及硬盘区域进行分类,这个分类和合并要求类似于noop的调度程序.
Deadline确保了在一个截止时间内服务请求,这个截止时间是可调整的,而默认读期限短于写期限.这样就防止了写操作因为不能被读取而饿死的现象.
Deadline对数据库环境(ORACLE RAC,MYSQL等)是最好的选择.
AS(预料I/O调度程序)
特点:
本质上与Deadline一样,但在最后一次读操作后,要等待6ms,才能继续进行对其它I/O请求进行调度.
可以从应用程序中预订一个新的读请求,改进读操作的执行,但以一些写操作为代价.
它会在每个6ms中插入新的I/O操作,而会将一些小写入流合并成一个大写入流,用写入延时换取最大的写入吞吐量.
AS适合于写入较多的环境,比如文件服务器
AS对数据库环境表现很差.

三) I/O调度方法的查看与设置
1) 查看当前系统的I/O调度

   [root@localhost ~]# cat /sys/block/sda/queue/scheduler
   noop anticipatory deadline [cfq] 
   [root@localhost ~]#

临时更改I/O调度
例如:想更改到noop电梯调度算法:

   [root@localhost ~]# echo noop > /sys/block/sda/queue/scheduler
   [root@localhost ~]#

永久更改I/O调度
修改内核引导参数,加入elevator=调度程序名

      [root@localhost ~]# vim /boot/grub/menu.lst
    
   更改到如下内容:
       kernel /boot/vmlinuz-2.6.18-8.el5 ro root=LABEL=/ elevator=deadline rhgb quiet

重启服务器后,查看调度方法:

   [root@localhost ~]# cat /sys/block/sda/queue/scheduler
   noop anticipatory [deadline] cfq 
   [root@localhost ~]#

可以看见已经是deadline了

四) ionice
ionice可以更改任务的类型和优先级,不过只有cfq调度程序可以用ionice.
有三个例子说明ionice的功能:
采用cfq的实时调度,优先级为7

       [root@localhost ~]# ionice -c1 -n7  -ptime dd if=/dev/sda1 f=/tmp/test bs=2M count=300&
   采用缺省的磁盘I/O调度,优先级为3
       [root@localhost ~]# ionice -c2 -n3  -ptime dd if=/dev/sda1 f=/tmp/test bs=2M count=300&
   采用空闲的磁盘调度,优先级为0
       [root@localhost ~]# ionice -c3 -n0  -ptime dd if=/dev/sda1 f=/tmp/test bs=2M count=300&

ionice的三种调度方法,实时调度最高,其次是缺省的I/O调度,最后是空闲的磁盘调度.
ionice的磁盘调度优先级有8种,最高是0,最低是7.
注意:磁盘调度的优先级与进程nice的优先级没有关系.
一个是针对进程I/O的优先级,一个是针对进程CPU的优先级.

10. 关闭透明大页

一.透明大页（Transparent Huge Pages,简称THP）
    在Linux6.x之后的平台，在安装Oracle数据库的时候都建议关闭透明大页。Linux下的大页分为两种类型：标准大页（Huge Pages）和透明大页（Transparent Huge Pages）。
1>.标准大页(Huge Pages)
    是从Linux Kernel 2.6后被引入的。目的是使用更大的内存页面（memory page size） 以适应越来越大的系统内存，让操作系统可以支持现代硬件架构的大页面容量功能。
2>.透明大页（Transparent Huge Pages）缩写为THP，
    这个是RHEL 6开始引入的一个功能。
3>.HP和THP的区别
    这两者的区别在于大页的分配机制，标准大页管理是预分配的方式，而透明大页管理则是动态分配的方式。目前透明大页与传统大页混合使用会出现一些问题，导致性能问题和系统重启。
    ORACLE官方不建议在使用RedHat 6, OEL 6, SLES 11 and UEK2 kernels 时开启透明大页（THP），因为透明大页存在一些问题：

3.1>.在RAC环境下透明大页（Transparent HugePages ）会导致异常节点重启和性能问题；

3.2>.在单机环境中，透明大页（Transparent HugePages ）也会导致一些异常的性能问题;
3.3>.THP是一个使用Huge Pages自动化的抽象层。它会引起cpu占用率增大，需要将其关闭。

[root@hadoop1012 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled 
[always] madvise never
[root@hadoop1012 ~]# vim /etc/default/grub 
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
#GRUB_CMDLINE_LINUX="rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet"
GRUB_CMDLINE_LINUX="crashkernel=auto rhgb transparent_hugepage=never"
GRUB_DISABLE_RECOVERY="true"
     
[root@hadoop1012 ~]# grub2-mkconfig -o /boot/grub2/grub.cfg 
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-3.10.0-693.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-693.el7.x86_64.img
Found linux image: /boot/vmlinuz-0-rescue-488c88662afb478ab8ed4d24b26e7a21
Found initrd image: /boot/initramfs-0-rescue-488c88662afb478ab8ed4d24b26e7a21.img
done
[root@hadoop1012 ~]# reboot
[root@hadoop1012 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled 
always madvise [never]

11. 禁止记录访问时间戳

    默认情况下，Linux文件系统在文件被访问、创建、修改时会记录下文件的一些时间戳，如文件创建时间，最近一次修改时间和最近一次访问时间，这在绝大部分场合中都是没有必要的。
    因为系统在运行时要访问大量文件，所以如果能减少一些动作，则会显著提高磁盘I/O，提升文件系统的性能。
    若遇到机器的I/O负载或CPU Wait高的情况，则可以尝试使用noatime和nodiratime来禁止记录最近一次访问时间戳。
    #在default后面添加",noatime,nodiratime",表示不记录文件访问时间。

[root@hadoop1012 ~]# vim /etc/fstab 
# /etc/fstab
# Created by anaconda on Thu Feb 16 05:26:45 2023
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                  xfs     defaults,noatime,nodiratime        0 0
UUID=984f99bd-0b89-4270-8ec0-296e8765f63c /boot                   xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0
        
#重新挂载生效，禁止记录访问时间戳
[root@hadoop1012 ~]# mount -o remount /

12. Linux内核参数

vim /etc/sysctl.conf 　
fs.aio-max-nr = 1048576　 #最大并发I/O请求数
#Socket读写缓冲的优化start
net.core.rmem_default = 262144　　#操作系统接收缓冲区的默认字节大小
net.core.wmem_default = 262144　　#操作系统发送缓冲区的默认字节大小
net.core.rmem_max = 16777216　　　#操作系统接收缓冲区字节最大值
net.core.wmem_max = 16777216　　　#操作系统发送缓冲区字节最大值
#Socket读写缓冲的优化end
net.ipv4.tcp_rmem = 4096  262144 16777216　#接收窗口尺寸的字节最小，默认，最大值
net.ipv4.tcp_wmem = 4096  262144 16777216　#发送窗口尺寸的字节最小，默认，最大值
#关闭IPV6
net.ipv6.conf.all.disable_ipv6 = 1
#somaxconn参数规定系统中每个端口的最大的监听队列的长度，它是全局参数，默认值是128
net.core.somaxconn = 32768
#关闭swap分区
vm.swappiness = 1
#11.脏页配置优化
vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 5
vm.dirty_bytes = 0
vm.dirty_expire_centisescs = 3000 #指定增数据能存活的时间
vm.dirty_ratio = 80 #脏数据百分比的绝对限制值
vm.dirty_writeback_centisecs = 500 #指定pdflush/flush/kdmflush进程的执行间隔

13. 增大可打开文件描述符的数量

vim /etc/security/limits.conf 
#ADD BY YINZHENGJIE
* soft nofile 1048576
* hard nofile 1048576
* soft nproc 1048576
* hard nproc 1048576
* soft memlock unlimited
* hard memlock unlimited

        以上参数输出解读：
        　　第一列表示用户和组
        　　　　如果是"*"，则表示所有用户或组进行限制。
        
        　　第二列表示软限制还是硬限制，
        　　　　当进程使用的资源超过软限制时系统日志会有警告产生，当进程使用的资源达到硬限制时，则无法继续使用更多的限制，甚至有的程序会直接抛出异常，比如MySQL程序。
        
        　　第三列表示限制的资源类型
        　　　　如nofile表示打开文件描述符的最大数目，memlock表示最大锁定内存地址空间（KB），nporc表示最大数量的进程，as表示地址空间的限制（KB），cpu表示最大CPU时间（分钟）等等，这些在"/etc/security/limits.conf"配置文件有相应的说明。
        
        　　第四列表示限制的最大值
        　　　　也就是我们针对某个参数配置的具体数值。比如"* soft nofile 1048576",表示任何用户对于文件句柄数的软限制最大打开文件描述符是1048576。
        
        温馨提示：
        　　"/etc/security/limits.conf" 配置文件可限制文件打开数，系统进程等资源，在该文件配置中写的最大用户进程数是受"/etc/security/limits.d/90-nproc.conf"配置上限影响的。
        　　一般系统普通用户进程数满了都是修改/etc/security/limits.d/90-nproc.conf文件。

运维仙人

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
大数据集群节点操作系统优化

概述：系统性能是指操作系统完成任务的有效性、稳定性和响应速度。影响Linux操作系统的性能因素有很多，其中包括系统硬件资源、操作系统相关资源、以及应用软件资源。应用运行在Linux操作系统上，怎样才能充分利用操作系统的内存、cpu、硬盘、网络资源，是一个长期探究的课题，也是IT业内一直要面临的问题。本节主要介绍操作系统层面的优化，其中包括硬盘资源，内存，网络资源等。
复制链接

扫一扫