本章概括
- 进程相关概念
- 进程及系统相关工具
- 计划任务
1、进程相关概念
进程概念
- 内核的功用：进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能等
- Process: 运行中的程序的一个副本，是被载入内存的一个指令集合
进程ID（Process ID，PID）号码被用来标记各个进程
UID、GID、和SELinux语境决定对文件系统的存取和访问权限
通常从执行进程的用户来继承
存在生命周期 - task struct：Linux内核存储进程信息的数据结构格式
- task list：多个任务的的task struct组成的链表
- 进程创建：
init：第一个进程
父子关系
系统中第一个进程：centos6为init(1)；centos7为systemd(1)
centos7中也存在init(/usr/bin/init)，是systemd的软链接
[root@centos7-1 ~]#pstree -p
systemd(1)─┬─ModemManager(619)─┬─{ModemManager}(675)
│ └─{ModemManager}(678)
[root@centos7-1 ~]#ll /usr/sbin/init
lrwxrwxrwx. 1 root root 22 Jul 18 17:20 /usr/sbin/init -> ../lib/systemd/systemd
进程：都由其父进程创建，CoW
fork(), clone()
父进程创建子进程会调用fork(),clone()函数来实现
进程创建基于CoW
CoW copy on write 写时复制
创建子进程完毕以后，暂时不给子进程分配空间，只分配一个进程编号，此时子进程指向父进程的内存空间，和父进程共享相同的内存空间
当子进程的内容发生变化时，会给子进程分配一个新的内存空间，并把父进程的内容或数据复制给子进程，此时子进程指向新的内存空间，然后再对内容或数据进行修改
该过程类似于逻辑卷创建快照的过程
进程的基本状态
- 创建状态：进程在创建时需要申请一个空白PCB(process control block进程控制块)，向其中填写控制和管理进程的信息，完成资源分配。如果创建工作无法完成，比如资源无法满足，就无法被调度运行，把此时进程所处状态称为创建状态
- 就绪状态：进程已准备好，已分配到所需资源，只要分配到CPU就能够立即运行
- 执行状态：进程处于就绪状态被调度后，进程进入执行状态
- 阻塞状态：正在执行的进程由于某些事件（I/O请求，申请缓存区失败）而暂时无法运行，进程受到阻塞。在满足请求时进入就绪状态等待系统调用
- 终止状态：进程结束，或出现错误，或被系统终止，进入终止状态。无法再执行
状态之间转换六种情况
- 运行——>就绪：1，主要是进程占用CPU的时间过长，而系统分配给该进程占用CPU的时间是有限的；2，在采用抢先式优先级调度算法的系统中,当有更高优先级的进程要运行时，该进程就被迫让出CPU，该进程便由执行状态转变为就绪状态。
- 就绪——>运行：运行的进程的时间片用完，调度就转到就绪队列中选择合适的进程分配CPU
- 运行——>阻塞：正在执行的进程因发生某等待事件而无法执行，则进程由执行状态变为阻塞状态，如发生了I/O请求:从磁盘上读取一个文件，读取速度慢，该进程在没有获取到数据之前，处于阻塞状态
- 阻塞——>就绪:进程所等待的事件已经发生，就进入就绪队列
- 以下两种状态是不可能发生的：
- 阻塞——>运行：即使给阻塞进程分配CPU，也无法执行，操作系统在进行调度时不会从阻塞队列进行挑选，而是从就绪队列中选取
- 就绪——>阻塞：就绪态根本就没有执行，谈不上进入阻塞态
进程优先级
- 进程优先级：
系统优先级：数字越小，优先级越高
0-139（CentOS4,5）
各有140个运行队列和过期队列
0-98，99（CentOS6）
实时优先级: 99-0 值最大优先级最高
nice值：-20到19，对应系统优先级100-139或99 - Big O：时间复杂度，用时和规模的关系
O(1), O(logn), O(n)线性, O(n^2)抛物线, O(2^n)
知识扩展:
Big O
O(1)算法
无论有多少个进程，只有140(0-139)个队列，即只处理140个队列中的进程，处理的数量是恒定不变的，这种情况的时间复杂度，用时和规模就是O(1)
进程相关概念
- 进程内存：
Page Frame: 页框，用存储页面数据，存储Page 4k
LRU：Least Recently Used 近期最少使用算法,释放内存
物理地址空间和线性地址空间
MMU：Memory Management Unit负责转换线性和物理地址
TLB:Translation Lookaside Buffer 翻译后备缓冲器,用于保存虚拟地址和物理地址映射关系的缓存 - IPC: Inter Process Communication
同一主机: signal:信号
shm: shared memory
semaphore:信号量，一种计数器
不同主机：socket: IP和端口号
RPC: remote procedure call
MQ：消息队列，Kafka，ActiveMQ
物理地址空间(物理内存空间)和线性地址空间(虚拟内存空间)
物理地址空间：给进程实际分配的空间
虚拟内存空间：进程认为自己拥有主机全部的物理空间，但实际上该进程用不完全部的物理空间，因此需要模拟出一个虚拟内存空间来代替实际上的全部内存空间
MMU：把虚拟内存和物理内存做映射关系，把物理内存转换为虚拟内存
LRU算法
假设序列为 4 3 4 2 3 1 4 2
物理块有3个，则
第1轮 4调入内存 4
第2轮 3调入内存 3 4
第3轮 4调入内存 4 3
第4轮 2调入内存 2 4 3
第5轮 3调入内存 3 2 4
第6轮 1调入内存 1 3 2
第7轮 4调入内存 4 1 3
第8轮 2调入内存 2 4 1
进程状态
- Linux内核：抢占式多任务
- 进程类型：
守护进程: daemon,在系统引导过程中启动的进程，和终端无关进程
前台进程：跟终端相关，通过终端启动的进程
注意：两者可相互转化 - 进程状态：
运行态：running
就绪态：ready
睡眠态：
可中断：interruptable
不可中断：uninterruptable
停止态：stopped,暂停于内存，但不会被调度，除非手动启动
僵死态：zombie，结束进程，父进程结束前，子进程不关闭
睡眠态和停止态区别：
睡眠态可以还原，进程可以醒过来，可能是自己醒过来，也可能是人为干预醒过来
停止态只要人为不干预，无法醒过来，会停在内存中，不会有任何操作
僵死态：程序发生故障，进程已经死去，但是会一直占用内存不释放，僵死态进程无法处理
2、系统及进程工具
2.1 系统管理工具
- 进程的分类：
CPU-Bound：CPU密集型，非交互;只消耗cpu，如进行加减运算
IO-Bound：IO密集型，交互;读取或写入数据 - Linux系统状态的查看即管理工具
查看进程：pstree，ps
进程优先级：nice，renice
搜索进程：pgrep，pidof
进程管理工具：uptime，top，htop(epel源)，kill，pkill，killall
内存查看工具：free，vmstat，pmap
系统资源(cpu,IO)统计vmstat，iostat，dstat(代替vmstat，iostat)
系统监控工具：glances(epel源)，dstat(需要安装)，iotop(需要安装)
系统文件查看工具：lsof
作业管理：jobs，fg，bg，nohup
查看进程树pstree
- pstree：查看进程树(需要安装软件包psmisc才能使用)
-p：查看进程树，并显示进程号
示例(只显示部分)：
[root@centos7-1 ~]#pstree -p
systemd(1)─┬─ModemManager(619)─┬─{ModemManager}(675)
│ └─{ModemManager}(678)
├─VGAuthService(610)
├─abrt-watch-log(614)
├─abrt-watch-log(615)
├─abrtd(613)
├─accounts-daemon(571)─┬─{accounts-daemon}(574)
│ └─{accounts-daemon}(596)
├─alsactl(579)
├─anacron(1855)
├─at-spi-bus-laun(1444)─┬─dbus-daemon(1449)
│ ├─{at-spi-bus-laun}(1445)
│ ├─{at-spi-bus-laun}(1446)
│ └─{at-spi-bus-laun}(1448)
├─at-spi2-registr(1451)─┬─{at-spi2-registr}(1453)
│ └─{at-spi2-registr}(1454)
在进程树中{ }括起来的项表示线程，其他则表示进程
进程process和线程thread
进程:相当于一个任务(项目)，需要人员(线程)、资源(内存空间，文件等)，完成该任务的集合
线程:相当于进程中的人员，也就是说，线程属于进程
同一个进程中的线程之间使用的资源是共享的,因此线程之间会相互影响
进程和进程之间不共享资源，因此彼此之间不会相互影响
进程和线程的关系：一对一、一对多的关系，进程占用的资源更多
知识扩展：
进程的上下文切换：在不同cpu之间执行进程任务，切换的过程叫做上下文切换。
这种切换会消耗大量的资源
如apache服务并发性不够，不适合并发数量高的场景
该服务存在C10k问题，即进程并发数达到10万，会出现问题
查看进程工具ps
- ps：process state，显示当前进程的状态
注意：ps显示当前进程的快照，该命令并不能动态跟踪进程状态，只能看到当时那个时间点的进程状态
Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中 - 语法：ps [OPTION]…
- [OPTION]支持三种选项：
UNIX选项 如-A -e
BSD选项 如a
GNU选项 如–help
ps常见选项
- BSD选项：默认显示当前终端中的进程
a 选项包括所有终端中的进程
x 选项包括所有终端的进程
u 选项显示进程所有者的信息
f 选项显示进程树,相当于 --forest(GNU风格选项)
k|–sort 属性 对属性排序,属性前加- 表示倒序
o 属性… 选项显示定制的信息 pid、cmd、%cpu、%mem
L 显示支持的属性列表 - UNIX选项：
-C：cmdlist 指定命令，多个命令用，分隔
-L：显示线程
-e：显示所有进程，相当于-A
-f：显示完整格式程序信息
-F：显示更完整格式的进程信息
-H：以进程层级格式显示进程相关信息
-u：userlist 指定有效的用户ID或名称
-U：userlist 指定真正的用户ID或名称
-g：gid或groupname 指定有效的gid
-G：gid或groupname 指定真正的gid或组名称
-p：pid 显示指pid的进程
--ppid pid 显示属于pid的子进程
-M：显示SELinux信息，相当于Z
ps输出属性
- VSZ: Virtual memory SiZe，虚拟内存集，线性内存
- RSS: ReSident Size, 常驻内存集
- STAT：进程状态
R：running
S: interruptable sleeping
D: uninterruptable sleeping
T: stopped
Z: zombie
+: 前台进程
l: 多线程进程
L：内存分页并带锁
N：低优先级进程
<: 高优先级进程
s: session leader，会话（子进程）发起者
ni: nice值
pri: priority 优先级
psr: processor CPU编号
rtprio: 实时优先级
示例：
[root@centos7-1 ~]#ps aux
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.1 0.2 191140 4080 ? Ss 08:52 0:04 /usr/lib/systemd/systemd --switched-
root 2 0.0 0.0 0 0 ? S 08:52 0:00 [kthreadd]
root 3 0.0 0.0 0 0 ? S 08:52 0:00 [ksoftirqd/0]
root 5 0.0 0.0 0 0 ? S< 08:52 0:00 [kworker/0:0H]
root 7 0.0 0.0 0 0 ? S 08:52 0:00 [migration/0]
[root@centos7-1 ~]#ps axo pid,cmd,psr,ni,pri,rtprio
PID CMD PSR NI PRI RTPRIO
1 /usr/lib/systemd/systemd -- 1 0 19 -
2 [kthreadd] 0 0 19 -
3 [ksoftirqd/0] 0 0 19 -
5 [kworker/0:0H] 0 -20 39 -
7 [migration/0] 0 - 139 99
- 常用命令组合：
aux
-ef
-eFH
-eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm
axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm
示例：
通过指定的进程ID来显示所属的进程，可指定多个进程ID：
ps -fp 1234
ps -fp 1204,1239,1263
以父进程ID来显示其下所有的进程，如显示父进程为1154的所有进程：
ps -f --ppid 1154
要按tty显示所属进程:
ps -ft pst/0
要显示一个进程的所有线程,将显示LWP（轻量级进程）以及NLWP（轻量级进程数）列:
ps -fL -C nginx
查看进程的PID，PPID，用户名和命令：
ps -eo pid,ppid,user,cmd
自定义格式显示文件系统组,ni值,开始时间和进程的时间：
ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime
要以其名称选择特定进程，显示其所有子进程
ps -C sshd,bash
查找指定进程名所有的所属PID，在编写需要从std输出或文件读取PID的脚本时这个参数很有用：
ps -C httpd,sshd -o pid=
检查一个进程的执行时间
ps -eo comm,etime,user | grep nginx
查找占用最多内存和CPU的进程：
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head
使用以下命令以用户定义的格式显示安全信息。
ps -eo euser,ruser,suser,fuser,f,comm,label
知识扩展：
使用watch实用程序执行重复的输出以实现对就程进行实时的监视，如下面的命令显示每秒钟的监视：
watch -n 1 'ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head'
进程优先级
- 进程优先级调整：
静态优先级：100-139
进程默认启动时的nice值为0，优先级为120
只有根用户才能降低nice值（提高优先性） - nice命令：
nice [OPTION] [COMMAND [ARG]…] - renice命令：
renice [-n] priority pid… - 查看：
ps axo pid,comm,ni
搜索进程pgrep、pidof
- 最灵活：ps 选项 | 其它命令
- 按预定义的模式：pgrep
- 语法：pgrep [options] pattern
该命令支持正则表达式
-u uid: effective user，生效者
-U uid: real user，真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名
-a: 显示完整格式的进程名
-P pid: 显示指定进程的子进程 - 按确切的程序名称：/sbin/pidof
pidof bash
[root@centos7-1 ~]#pgrep -l sshd
1036 sshd
1702 sshd
[root@centos7-1 ~]#pgrep -a sshd
1036 /usr/sbin/sshd -D
1702 sshd: root@pts/0
[root@centos7-1 ~]#pgrep -P 1 查看第一个进程的子进程(这里只显示部分)
365
388
401
544
569
571
[root@centos7-1 ~]#pidof sshd
1702 103
系统工具uptime
- uptime
- 显示结果中各项内容含义：
显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、10分钟的平均负载，一般不会超过1） - 系统平均负载:
指在特定时间间隔内运行队列中的平均进程数 - 通常每个CPU内核的当前活动进程数不大于3，那么系统的性能良好。如果每个CPU内核的任务数大于5，那么此主机的性能有严重问题
- 如果linux主机是1个双核CPU，当Load Average 为6的时候说明机器已经被充分使用
[root@centos7-1 ~]#uptime
12:50:35 up 3:58, 1 user, load average: 0.00, 0.01, 0.05
2.2 进程管理工具
top命令
- 显示动态跟踪，类似于windows系统的任务管理器
- top命令有许多内置命令(快捷键)
排序：
P：以占据的CPU百分比,%CPU
M：占据内存百分比,%MEM
T：累积占据CPU时长,TIME+
首部信息显示：
uptime信息：l命令
tasks及cpu信息：t命令
cpu分别显示：1 (数字)
memory信息：m命令
退出命令：q
修改刷新时间间隔：s
终止指定进程：k
保存文件：W - 栏位信息简介
us：用户空间
sy：内核空间
ni：调整nice时间
id：空闲
wa：等待IO时间
hi：硬中断
si：软中断（模式切换）
st：虚拟机偷走的时间
st：虚拟机偷走的时间
虚拟机运行的进程，windows系统不知道虚拟机运行的进程以及分配给进程的时间片，这些时间片就是被盗取的时间片
- 常用选项：
-d #：指定刷新时间间隔，默认为3秒
-b：全部显示所有进程
-n #：刷新多少次后退出
-H：线程模式，示例：top -H -p `pidof mysqld`
[root@centos7-1 ~]#top
Tasks: 176 total, 1 running, 175 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.0 us, 0.2 sy, 0.0 ni, 99.8 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 1528412 total, 727736 free, 397400 used, 403276 buff/cache
KiB Swap: 3145724 total, 3145724 free, 0 used. 908376 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
614 root 20 0 221236 4728 3312 S 0.3 0.3 0:00.26 abrt-watch-log
4569 root 20 0 161972 2304 1580 R 0.3 0.2 0:00.05 top
1 root 20 0 191140 4080 2592 S 0.0 0.3 0:04.56 systemd
2 root 20 0 0 0 0 S 0.0 0.0 0:00.02 kthreadd
htop命令
该命令需要通过epel yum源安装才能使用
- 常用选项
-d #: 指定延迟时间；
-u UserName: 仅显示指定用户的进程
-s COLUME: 以指定字段进行排序
子命令：
s：跟踪选定进程的系统调用
l：显示选定进程打开的文件列表
a：将选定的进程绑定至某指定CPU核心
t：显示进程树
kill命令
- kill命令：
向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写
显示当前系统可用信号： kill –l,trap -l
常用信号：man 7 signal
1) SIGHUP: 无须关闭进程而让其重读配置文件
2) SIGINT: 中止正在运行的进程；相当于Ctrl+c
3) SIGQUIT:相当于ctrl+\(相当于quit)
9) SIGKILL: 强制杀死正在运行的进程
15) SIGTERM：正常终止正在运行的进程
18) SIGCONT：继续运行
19) SIGSTOP：后台休眠
指定信号的方法：
(1) 信号的数字标识：1, 2, 9
(2) 信号完整名称：SIGHUP
(3) 信号的简写名称：HUP - 按PID：kill [-SIGNAL] pid …
kill –n SIGNAL pid;kill –s SIGNAL pid - 按名称：killall [-SIGNAL] comm…
某应用程序具有多个进程号，使用该命令可以一次全部删除 - 按模式：pkill [options] pattern
-SIGNAL
-u uid: effective user，生效者
-U uid: real user，真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名（pgrep可用）
-a: 显示完整格式的进程名（pgrep可用）
-P pid: 显示指定进程的子进程
注意：pkill与pgrep命令用同一个man帮助手册，这两个命令用法类似
当系统中第一个进程init(1)或systemd(1)被kill，虽然该进程不会被杀死，但是系统中某些具备“重生功能”的子进程将不会再具备重生功能，因为子进程的重生功能依赖于父进程
查看内存空间free
- 内存空间使用状态：
语法：free [OPTION]
-b 以字节为单位
-m 以MB为单位
-g 以GB为单位
-h 易读格式
-o 不显示-/+buffers/cache行
-t 显示RAM + swap的总和
-s n 刷新间隔为n秒
-c n 刷新n次后即退出
[root@centos7-1 ~]#free -h
total used free shared buff/cache available
Mem: 1.5G 387M 710M 10M 394M 887M
Swap: 3.0G 0B 3.0G
知识扩展：
关于buffer和cache
buffer：缓冲区，读写数据，解决速度不匹配的问题，如硬盘和内存读写速度不匹配
cache：缓存，访问数据时，把数据放入内存中，当下一次再次访问该数据时，直接访问内存中该数据即可，内存中放的数据就是缓存，用来提高访问速度
centos6中这两项内容分开显示；centos7中则是合并显示，使用free -o选项可以把二者分开显示
[root@centos6 ~]#free
total used free shared buffers cached
Mem: 1003020 614180 388840 1252 64524 301428
-/+ buffers/cache: 248228 754792
Swap: 2097148 0 2097148
其中，-/+ buffers/cache: 248228 754792的含义：
248228是指used总容量减去buffers和cached的数值
754792是指free的值加上buffers和cached的数值
内存工具vmstat
- vmstat命令：虚拟内存信息
vmstat [options] [delay [count]]
vmstat 2 5 - procs:
r：可运行（正运行或等待运行）进程的个数，和核心数有关
b：处于不可中断睡眠态的进程个数(被阻塞的队列的长度) - memory：
swpd: 交换内存的使用总量
free：空闲物理内存总量
buffer：用于buffer的内存总量
cache：用于cache的内存总量 - swap:
si：从磁盘交换进内存的数据速率(kb/s)
so：从内存交换至磁盘的数据速率(kb/s)
注意：以内存为参照物，si是指数据进入内存，so是指数据离开内存 - io：
bi：从块设备读入数据到系统的速率(kb/s)
bo: 保存数据至块设备的速率
注意：以内存为参照物，si是指数据从磁盘进入内存，so是指数据离开内存进入磁盘 - system：
in: interrupts 中断速率，包括时钟
cs: context switch 进程切换速率 - cpu：
us:Time spent running non-kernel code
sy: Time spent running kernel code
id: Time spent idle. Linux 2.5.41前,包括IO-wait time.
wa: Time spent waiting for IO. 2.5.41前，包括in idle.
st: Time stolen from a virtual machine. 2.6.11前, unknown. - 选项：
-s: 显示内存的统计数据
[root@centos7-1 ~]#vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 727544 2104 401732 0 0 12 1 56 49 0 0 100 0 0
系统资源统计iostat
- iostat:统计CPU和设备IO信息
示例：iostat 1 10 一秒刷新一次，10次后自动退出 - pmap命令：进程对应的内存映射
- pmap [options] pid […]
-x: 显示详细格式的信息
示例：pmap 1 - 另外一种实现：
cat /proc/PID/maps
资源统计新工具dstat
- dstat命令：系统资源统计,代替vmstat,iostat
- 该命令能够动态追踪主机资源使用情况
- dstat [-afv] [options…] [delay [count]]
-c 显示cpu相关信息
-C #,#,…,total
-d 显示disk相关信息
-D total,sda,sdb,…
-g 显示page相关统计数据
-m 显示memory相关统计数据
-n 显示network相关统计数据
-p 显示process相关统计数据
-r 显示io请求相关的统计数据
-s 显示swapped相关的统计数据
--tcp
--udp
--unix
--raw
--socket
--ipc
--top-cpu：显示最占用CPU的进程
--top-io: 显示最占用IO的进程
--top-mem: 显示最占用内存的进程
--top-latency: 显示延迟最大的进程
2.3 系统监控工具
远程监控glances
-
glances命令：通过epel源安装才能使用，该工具可以跨网络使用，需要关闭防火墙(iptables -F)
-
glance[-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [–password] [-t refresh] [-f file] [-o output]
-
常用选项：
-b: 以Byte为单位显示网卡数据速率
-d: 关闭磁盘I/O模块
-f /path/to/somefile: 设定输入文件位置
-o {HTML|CSV}：输出格式
-m: 禁用mount模块
-n: 禁用网络模块
-t #: 延迟时间间隔
-1：每个CPU的相关数据单独显示 -
C/S模式下运行glances命令
-
服务器模式：
glances -s -B IPADDR
-B IPADDR: 指明监听的本机哪个地址，如果去掉-B选项表示监听本机所有ip地址 -
客户端模式：
glances -c IPADDR
IPADDR：要连入的服务器端地址
注意：该模式是在客户端主机监听服务器主机状态，也就是说服务器主机是处于被监听状态
iotop
- iotop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息，可查看每个进程是如何使用IO
- iotop输出
第一行：Read和Write速率总计
第二行：实际的Read和Write速率
第三行：参数如下：
线程ID（按p切换为进程ID）
优先级
用户
磁盘读速率
磁盘写速率
swap交换百分比
IO等待所占的百分比
线程/进程命令
[root@centos7-1 ~]#iotop
Total DISK READ : 0.00 B/s | Total DISK WRITE : 0.00 B/s 第一行参数
Actual DISK READ: 0.00 B/s | Actual DISK WRITE: 0.00 B/s 第二行参数
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND 第三行参数
- 常用选项：
-o, --only只显示正在产生I/O的进程或线程，除了传参，可以在运行过程中按o生效
-b, --batch非交互模式，一般用来记录日志
-n NUM, --iter=NUM设置监测的次数，默认无限。在非交互模式下很有用
-d SEC, --delay=SEC设置每次监测的间隔，默认1秒，接受非整形数据例如1.1
-p PID, --pid=PID指定监测的进程/线程
-u USER, --user=USER指定监测某个用户产生的I/O
-P, --processes仅显示进程，默认iotop显示所有线程
-a, --accumulated显示累积的I/O，而不是带宽
-k, --kilobytes使用kB单位，而不是对人友好的单位。在非交互模式下，脚本编程有用
-t, --time 加上时间戳，非交互非模式
-q, --quiet 禁止头几行，非交互模式，有三种指定方式
-q 只在第一次监测时显示列名
-qq 永远不显示列名
-qqq 永远不显示I/O汇总 - 交互按键
left和right方向键：改变排序
r：反向排序
o：切换至选项–only
p：切换至–processes选项
a：切换至–accumulated选项
q：退出
i：改变线程的优先级
文件系统工具lsof
- Lsof：list open files查看当前系统文件的工具。在linux环境下，一切皆文件，用户通过文件不仅可以访问常规数据，还可以访问网络连接和硬件如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等，系统在后台都为该应用程序分配了一个文件描述符
- 命令参数
-a：列出打开文件存在的进程
-c<进程名>：列出指定进程所打开的文件
-g：列出GID号进程详情
-d<文件号>：列出占用该文件号的进程
+d<目录>：列出目录下被打开的文件
+D<目录>：递归列出目录下被打开的文件
-n<目录>：列出使用NFS的文件
-i<条件>：列出符合条件的进程(4、6、协议、:端口、 @ip )
-p<进程号>：列出指定进程号所打开的文件
-u：列出UID号进程详情
-h：显示帮助信息
-v：显示版本信息。
-n: 不反向解析网络名字 - 进程管理
查看由登陆用户启动而非系统启动的进程
lsof /dev/pts1
指定进程号，可以查看该进程打开的文件
lsof -p 9527 - 文件管理
查看指定程序打开的文件
lsof -c httpd
查看指定用户打开的文件
lsof -u root | more
查看指定目录下被打开的文件
lsof +D /var/log/
lsof +d /var/log/
参数+D为递归列出目录下被打开的文件，参数+d为列出目录下被打开的文件 - 网络管理
查看所有网络连接
lsof -i –n
lsof -i@127.0.0.1
通过参数-i查看网络连接的情况，包括连接的ip、端口等以及一些服务的连接情况，例如：sshd等。也可以通过指定ip查看该ip的网络连接情况
查看端口连接情况
lsof -i :80 -n
通过参数-i:端口可以查看端口的占用情况，-i参数还有查看协议，ip的连接情况等
查看指定进程打开的网络连接
lsof -i –n -a -p 9527
参数-i、-a、-p等，-i查看网络连接情况，-a查看存在的进程，-p指定进程
查看指定状态的网络连接
lsof -n -P -i TCP -s TCP:ESTABLISHED
-n:no host names, -P:no port names,-i TCP指定协议，-s指定协议状态通过多个参数可以清晰的查看网络连接情况、协议连接情况等 - 如何恢复删除文件
lsof |grep /var/log/messages
rm -f /var/log/messages
lsof |grep /var/log/messages
cat /proc/653/fd/6
cat /proc/653/fd/6 > /var/log/messages
注意：恢复的前提是该文件必须在被使用，而且使用该文件的程序不能关闭
2.4 作业管理
- Linux的作业控制
前台作业：通过终端启动，且启动后一直占据终端
后台作业：可通过终端启动，但启动后即转入后台运行（释放终端） - 让作业切换到后台
(1) 运行中的作业，使用快捷键Ctrl+z进入后台休眠状态
(2) 尚未启动的作业使用COMMAND &，则该命令直接进入后台运行 - 后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，剥离与终端的关系(即断网续传)
nohup COMMAND &>/dev/null &
screen;COMMAND
注意：nohup命令把任务放到后台执行，断网也能继续执行该进程，并把输出结果存放到hohup.out文件中 - 查看当前终端所有作业编号：jobs
- 作业控制：
fg [[%]JOB_NUM]：把指定的后台作业调回前台
bg [[%]JOB_NUM]：让送往后台的作业在后台继续运行
kill [%JOB_NUM]： 终止指定的作业
kill命令发送信号：
18 把处于后台休眠的命令继续运行
19 把处于后台运行状态的命令继续睡眠 - 状态切换
三种状态：前台运行、后台停止、后台运行
| 状态切换 | 切换方法 |
|---|---|
| 前台运行---->后台停止 | ctrl+z |
| 后台停止---->后台运行 | bg 作业编号或者kill命令发送18信号 |
| 后台运行---->后台停止 | kill命令发送19信号 |
| 后台运行---->前台运行 | fg 作业编号 |
| 前台运行---->后台运行 | cmd & |
并行运行
- 同时运行多个进程，提高效率
- 方法1
vi all.sh
f1.sh&
f2.sh&
f3.sh& - 方法2
(f1.sh&)?f2.sh&)?f3.sh&) - 方法3
{ f1.sh& f2.sh& f3.sh& }
3、任务计划
- Linux任务计划、周期性任务执行
未来的某时间点执行一次任务
at
batch：系统自行选择空闲时间去执行此处指定的任务
周期性运行某任务
cron
3.1 at任务
- 包：at
- at命令：at [option] TIME
- 注意：配置计划任务时，要确保时间是准确的，否则，任务计划将会出现问题
- 常用选项：
-V：显示版本信息:
-l：列出指定队列中等待运行的作业；相当于atq
-d：删除指定的作业；相当于atrm
-c：查看具体作业任务，后跟计划任务编号
-f /path/file：指定的文件中读取任务
-m：当任务被完成之后，将给用户发送邮件，即使没有标准输出 - 注意：作业执行命令的结果中的标准输出和错误以邮件通知给相关用户，会产生大量无用信息占用系统资源，因此计划任务在非必要情况下不要产生标准输出或隐藏标准输出(或放到/dev/null中)
- TIME:定义出什么时候进行 at 这项任务的时间
HH:MM [YYYY-mm-dd]
noon, midnight, teatime（4pm）
tomorrow
now+#{minutes,hours,days, OR weeks}
[root@centos7-1 ~]#at now +1min
at> wall "system will reboot"
at> <EOT>
job 7 at Sun Sep 2 13:34:00 2018
[root@centos7-1 ~]#at -l
7 Sun Sep 2 13:34:00 2018 a root
[root@centos7-1 ~]#at -d 7
at时间格式
- HH:MM 02:00
在今日的 HH:MM 进行，若该时刻已过，则明天此时执行任务 - HH:MM YYYY-MM-DD 02:00 2016-09-20
规定在某年某月的某一天的特殊时刻进行该项任务 - HH:MM[am|pm] [Month] [Date]
04pm March 17
17:20 tomorrow - HH:MM[am|pm] + number [minutes|hours|days|weeks]
在某个时间点再加几个时间后才进行该项任务
now + 5 min
02pm + 3 days
at任务
- 执行方式：
1）交互式 2）输入重定向 3）at –f 文件 - 依赖与atd服务,需要启动才能实现at任务
- at队列存放在/var/spool/at目录中
- /etc/at.{allow,deny}控制用户是否能执行at任务
at.deny：黑名单 默认存在在该文件中写入用户名即拒绝该用户制定计划任务
at.allow：白名单 该文件默认不存在，需要手动创建；在该文件中写入用户名即允许该用户制定计划任务
如果白名单、黑名单都存在，白名单优先级高于黑名单；运行计划任务时先查询白名单，允许白名单里的用户制定计划任务，不在白名单的用户被拒绝制定计划任务，此时不在白名单的用户全被拒绝制定计划任务
如果白名单不存在，查询黑名单，禁止黑名单里的用户制定计划任务，不在黑名单里的用户全被允许制定计划任务
如果白名单、黑明但都不存在，普通用户都不被允许制定计划任务，root用户可以执行at命令
使用小技巧：
at命令防止配置出错
远程配置服务器时，会出现把自己排除的情况，此时可以提前使用at做计划任务，在多长时间内还原原有配置
3.2 周期性任务计划cron
周期性任务计划cron
- 相关的程序包：
cronie: 主程序包，提供crond守护进程及相关辅助工具
cronie-anacron：cronie的补充程序，用于监控cronie任务执行状况，如cronie中的任务在过去该运行的时间点未能正常运行，则anacron会随后启动一次此任务
crontabs：包含CentOS提供系统维护任务
计划任务
- 确保crond守护处于运行状态：
CentOS 7:
systemctl status crond
CentOS 6:
service crond status - 计划周期性执行的任务提交给crond，到指定时间会自动运行
系统cron任务：系统维护作业
/etc/crontab
用户cron任务：
crontab命令 - 日志：/var/log/cron
- 系统cron任务:/etc/crontab
- 注释行以 # 开头
- 详情参见 man 5 crontab
[root@centos7-1 ~]#cat /etc/crontab
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed
例如：晚上9点10分运行echo命令
10 21 * * * wang /bin/echo “Howdy!”
/etc/crontab文件各项内容含义：
SHELL：指明shell类型
PATH：寻找计划任务的路径
MAILTO：计划任务中的标准输出发送邮件给root
- 时间表示法：
(1) 特定值
给定时间点有效取值范围内的值
(2) *
给定时间点上有效取值范围内的所有值
如*/2表示“每(分|时|日|月|周)”
(3) 离散取值
#,#,#
(4) 连续取值
#-#
(5) 在指定时间范围上，定义步长
/#: #即为步长 - 系统的计划任务
指定的计划任务可根据需求写入以下配置文件中
/etc/crontab 配置文件
/etc/cron.d/ 配置文件
/etc/cron.hourly/ 脚本
/etc/cron.daily/ 脚本
/etc/cron.weekly/ 脚本
/etc/cron.monthly/ 脚本
时间格式
| 时间 | 格式 |
|---|---|
| @reboot(每次重启) | Run once after reboot |
| @yearly(每年) | 0 0 1 1 * |
| @annually(每年) | 0 0 1 1 * |
| @monthly(每月) | 0 0 1 * * |
| @weekly(每周) | 0 0 * * 0 |
| @daily(每天) | 0 0 * * * |
| @hourly(每小时) | 0 * * * * |
- 示例：
每3小时echo和wall命令
0 */3 * * * centos /bin/echo “howdy”;/usr/bin/wall “welcome to Magedu!”
anacron系统
- 运行计算机关机时cron不运行的任务，CentOS6以后版本取消anacron服务，由crond服务管理
- 对笔记本电脑、台式机、工作站、偶尔要关机的服务器及其它不一直开机的系统很重要对很有用
- 配置文件：/etc/anacrontab，负责执行/etc/ cron.daily /etc/cron.weekly /etc/cron.monthly中系统任务
字段1：如果在这些日子里没有运行这些任务……
字段2：在重新引导后等待这么多分钟后运行它
字段3：任务识别器，在日志文件中标识
字段4：要执行的任务 - 由/etc/cron.hourly/0anacron执行
- 当执行任务时，更新/var/spool/anacron/cron.daily 文件的时间戳
[root@centos6 cron.monthly]#cat /etc/anacrontab
# /etc/anacrontab: configuration file for anacron
# See anacron(8) and anacrontab(5) for details.
SHELL=/bin/sh
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=45
# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22
#period in days delay in minutes job-identifier command
1 5 cron.daily nice run-parts /etc/cron.daily
7 25 cron.weekly nice run-parts /etc/cron.weekly
@monthly 45 cron.monthly nice run-parts /etc/cron.monthly
管理临时文件
- CentOS6使用/etc/cron.daily/tmpwatch定时清除临时文件
- CentOS7使用systemd-tmpfiles-setup服务实现
- 配置文件：
/etc/tmpfiles.d/*.conf
/run/tmpfiles.d/*.conf
/usr/lib/tmpfiles/*.conf - /usr/lib/tmpfiles.d/tmp.conf
d /tmp 1777 root root 10d
d /var/tmp 1777 root root 30d - 命令：
systemd-tmpfiles –clean|remove|create configfile
用户计划任务
- crontab命令定义
- 普通用户可通过该命令创建计划任务
每个用户都有专用的cron任务文件：
/var/spool/cron/USERNAME - crontab命令：
crontab [-u user] [-l | -r | -e] [-i]
-l: 列出所有任务
-e: 编辑任务
-r: 移除所有任务
-i：同-r一同使用，以交互式模式移除指定任务
-u user: 仅root可运行，指定用户管理cron任务 - 控制用户执行计划任务：
/etc/cron.{allow,deny}，该文件用法类似于/etc/at.{allow,deny}
知识扩展：
普通用户编辑计划任务时增加颜色
定义环境变量export EDITOR=vim
写入/etc/prifile.d/file.sh永久保存
3.3 at和crontab的区别
at和crontab
- 一次性作业使用at命令
- 重复性作业使用crontab命令
- 二者的区别：
| 功能 | at命令 | crontab命令 |
|---|---|---|
| Create | at time | crontab -e |
| List | at -l | crontab -l |
| Details | at -c jobnum | 无 |
| Remove | at -d jobnum | crontab -f |
| Edit | 无 | crontab -e |
- 没有被重定向的输出会被邮寄给用户
- root能够修改其它用户的作业
- 注意：运行结果的标准输出和错误以邮件通知给相关用户
(1) COMMAND > /dev/null
(2) COMMAND &> /dev/null - 对于cron任务来讲，%有特殊用途；如果在命令中要使用%，则需要转义，将%放置于单引号中，则可不用转义
4822
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
