工作原理:
CFQ为每个进程/线程单独创建一个队列来管理该进程所产生的请求,也就是说每个进程一个队列,各队列之间的调度使用时间片来调度,以此来保证每个进程都能被很好的分配到I/O带宽.I/O调度器每次执行一个进程的4次请求.
- NOOP(电梯式调度程序) (我们生产用到了该调度算法)
特点:
在Linux2.4或更早的版本的调度程序,那时只有这一种I/O调度算法.
NOOP实现了一个FIFO队列,它像电梯的工作主法一样对I/O请求进行组织,当有一个新的请求到来时,它将请求合并到最近的请求之后,以此来保证请求同一介质.
NOOP倾向饿死读而利于写.
NOOP对于闪存设备,RAM,嵌入式系统是最好的选择.
电梯算法饿死读请求的解释:
因为写请求比读请求更容易.
写请求通过文件系统cache,不需要等一次写完成,就可以开始下一次写操作,写请求通过合并,堆积到I/O队列中.
读请求需要等到它前面所有的读操作完成,才能进行下一次读操作.在读操作之间有几毫秒时间,而写请求在这之间就到来,饿死了后面的读请求.
- Deadline(截止时间调度程序)
特点:
通过时间以及硬盘区域进行分类,这个分类和合并要求类似于noop的调度程序.
Deadline确保了在一个截止时间内服务请求,这个截止时间是可调整的,而默认读期限短于写期限.这样就防止了写操作因为不能被读取而饿死的现象.
Deadline对数据库环境(ORACLE RAC,MYSQL等)是最好的选择. - AS(预料I/O调度程序)
特点:
本质上与Deadline一样,但在最后一次读操作后,要等待6ms,才能继续进行对其它I/O请求进行调度.
可以从应用程序中预订一个新的读请求,改进读操作的执行,但以一些写操作为代价.
它会在每个6ms中插入新的I/O操作,而会将一些小写入流合并成一个大写入流,用写入延时换取最大的写入吞吐量.
AS适合于写入较多的环境,比如文件服务器
AS对数据库环境表现很差.
三) I/O调度方法的查看与设置
- 查看当前系统的I/O调度
[root@localhost ~]# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]
[root@localhost ~]#
- 临时更改I/O调度
例如:想更改到noop电梯调度算法:
[root@localhost ~]# echo noop > /sys/block/sda/queue/scheduler
[root@localhost ~]#
- 永久更改I/O调度
修改内核引导参数,加入elevator=调度程序名
[root@localhost ~]# vim /boot/grub/menu.lst
更改到如下内容:
kernel /boot/vmlinuz-2.6.18-8.el5 ro root=LABEL=/ elevator=deadline rhgb quiet
重启服务器后,查看调度方法:
[root@localhost ~]# cat /sys/block/sda/queue/scheduler
noop anticipatory [deadline] cfq
[root@localhost ~]#
可以看见已经是deadline了
四) ionice
ionice可以更改任务的类型和优先级,不过只有cfq调度程序可以用ionice.
有三个例子说明ionice的功能:
采用cfq的实时调度,优先级为7
[root@localhost ~]# ionice -c1 -n7 -ptime dd if=/dev/sda1 f=/tmp/test bs=2M count=300&
采用缺省的磁盘I/O调度,优先级为3
[root@localhost ~]# ionice -c2 -n3 -ptime dd if=/dev/sda1 f=/tmp/test bs=2M count=300&
采用空闲的磁盘调度,优先级为0
[root@localhost ~]# ionice -c3 -n0 -ptime dd if=/dev/sda1 f=/tmp/test bs=2M count=300&
ionice的三种调度方法,实时调度最高,其次是缺省的I/O调度,最后是空闲的磁盘调度.
ionice的磁盘调度优先级有8种,最高是0,最低是7.
注意:磁盘调度的优先级与进程nice的优先级没有关系.
一个是针对进程I/O的优先级,一个是针对进程CPU的优先级.
10. 关闭透明大页
一.透明大页(Transparent Huge Pages,简称THP)
在Linux6.x之后的平台,在安装Oracle数据库的时候都建议关闭透明大页。Linux下的大页分为两种类型:标准大页(Huge Pages)和透明大页(Transparent Huge Pages)。
1>.标准大页(Huge Pages)
是从Linux Kernel 2.6后被引入的。目的是使用更大的内存页面(memory page size) 以适应越来越大的系统内存,让操作系统可以支持现代硬件架构的大页面容量功能。
2>.透明大页(Transparent Huge Pages)缩写为THP,
这个是RHEL 6开始引入的一个功能。
3>.HP和THP的区别
这两者的区别在于大页的分配机制,标准大页管理是预分配的方式,而透明大页管理则是动态分配的方式。目前透明大页与传统大页混合使用会出现一些问题,导致性能问题和系统重启。
ORACLE官方不建议在使用RedHat 6, OEL 6, SLES 11 and UEK2 kernels 时开启透明大页(THP),因为透明大页存在一些问题:
3.1>.在RAC环境下 透明大页(Transparent HugePages )会导致异常节点重启和性能问题;
3.2>.在单机环境中,透明大页(Transparent HugePages ) 也会导致一些异常的性能问题;
3.3>.THP是一个使用Huge Pages自动化的抽象层。它会引起cpu占用率增大,需要将其关闭。
[root@hadoop1012 ~]# cat /sys/kernel/mm/transparent\_hugepage/enabled
[always] madvise never
[root@hadoop1012 ~]# vim /etc/default/grub
GRUB\_TIMEOUT=5
GRUB\_DISTRIBUTOR="$(sed 's, release .\*$,,g' /etc/system-release)"
GRUB\_DEFAULT=saved
GRUB\_DISABLE\_SUBMENU=true
GRUB\_TERMINAL\_OUTPUT="console"
#GRUB\_CMDLINE\_LINUX="rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet"
GRUB\_CMDLINE\_LINUX="crashkernel=auto rhgb transparent\_hugepage=never"
GRUB\_DISABLE\_RECOVERY="true"
[root@hadoop1012 ~]# grub2-mkconfig -o /boot/grub2/grub.cfg
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-3.10.0-693.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-693.el7.x86_64.img
Found linux image: /boot/vmlinuz-0-rescue-488c88662afb478ab8ed4d24b26e7a21
Found initrd image: /boot/initramfs-0-rescue-488c88662afb478ab8ed4d24b26e7a21.img
done
[root@hadoop1012 ~]# reboot
[root@hadoop1012 ~]# cat /sys/kernel/mm/transparent\_hugepage/enabled
always madvise [never]
11. 禁止记录访问时间戳
默认情况下,Linux文件系统在文件被访问、创建、修改时会记录下文件的一些时间戳,如文件创建时间,最近一次修改时间和最近一次访问时间,这在绝大部分场合中都是没有必要的。
因为系统在运行时要访问大量文件,所以如果能减少一些动作,则会显著提高磁盘I/O,提升文件系统的性能。
若遇到机器的I/O负载或CPU Wait高的情况,则可以尝试使用noatime和nodiratime来禁止记录最近一次访问时间戳。
#在default后面添加",noatime,nodiratime",表示不记录文件访问时间。
[root@hadoop1012 ~]# vim /etc/fstab
# /etc/fstab
# Created by anaconda on Thu Feb 16 05:26:45 2023
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults,noatime,nodiratime 0 0
UUID=984f99bd-0b89-4270-8ec0-296e8765f63c /boot xfs defaults 0 0
#/dev/mapper/centos-swap swap swap defaults 0 0
#重新挂载生效,禁止记录访问时间戳
[root@hadoop1012 ~]# mount -o remount /
12. Linux内核参数
vim /etc/sysctl.conf
fs.aio-max-nr = 1048576 #最大并发I/O请求数
#Socket读写缓冲的优化start
net.core.rmem_default = 262144 #操作系统接收缓冲区的默认字节大小
net.core.wmem_default = 262144 #操作系统发送缓冲区的默认字节大小
net.core.rmem_max = 16777216 #操作系统接收缓冲区字节最大值
net.core.wmem_max = 16777216 #操作系统发送缓冲区字节最大值
#Socket读写缓冲的优化end
net.ipv4.tcp_rmem = 4096 262144 16777216 #接收窗口尺寸的字节最小,默认,最大值
net.ipv4.tcp_wmem = 4096 262144 16777216 #发送窗口尺寸的字节最小,默认,最大值
#关闭IPV6
net.ipv6.conf.all.disable_ipv6 = 1
#somaxconn参数规定系统中每个端口的最大的监听队列的长度,它是全局参数,默认值是128
net.core.somaxconn = 32768
#关闭swap分区
vm.swappiness = 1
#11.脏页配置优化
vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 5
vm.dirty_bytes = 0
vm.dirty_expire_centisescs = 3000 #指定增数据能存活的时间
vm.dirty_ratio = 80 #脏数据百分比的绝对限制值
vm.dirty_writeback_centisecs = 500 #指定pdflush/flush/kdmflush进程的执行间隔
13. 增大可打开文件描述符的数量
vim /etc/security/limits.conf
#ADD BY YINZHENGJIE
* soft nofile 1048576
**自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。**
**深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
**因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/2fdc86f49a789d44e25c18a9df2d2412.png)
![img](https://img-blog.csdnimg.cn/img_convert/2b7aec1d50b28c16f40dd5970a092fe3.png)
![img](https://img-blog.csdnimg.cn/img_convert/3e5f60cc95fd035f78d291680bbe57da.png)
![img](https://img-blog.csdnimg.cn/img_convert/7974dddddd81289aefcdfd16e4d519be.png)
![img](https://img-blog.csdnimg.cn/img_convert/fd74a7f6d701dab028c641e9e7df5486.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!**
**由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
![img](https://img-blog.csdnimg.cn/img_convert/88dab50d45db7cadc67c9aad452adb47.png)
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
[外链图片转存中...(img-W8EkfbZC-1713024137985)]
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**