进程管理

进程

1. 进程概念
  内核功用：进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能等
  Process: 运行中的程序的一个副本，是被载入内存的一个指令集合进程ID（Process ID，PID）号码被用来标记各个进程UID、GID和SELinux语境决定对文件系统的存取和访问权限通常从执行进程的用户来继承存在生命周期
  task struct： Linux内核存储进程信息的数据结构格式
  task list： 多个任务的task struct组成的链表
  进程创建：
   systemd:第一个进程
   进程：都由其父进程创建，父子关系，CoW
    fork(), clone()
  Page Frame: 页框，用存储页面数据，存储Page 4k
  物理地址空间和线性地址空间
   MMU：Memory Management Unit 负责转换线性和物理地址
   TLB：Translation Lookaside Buffer 翻译后备缓冲器，用于保存虚拟地址和物理地址映射关系的缓存
   LRU：Least Recently Used 近期最少使用算法,释放内存
   代码段：二进制的文件
   数据段：声明且赋值的变量的空间
   BSS：放已声明但未赋值的变量
   堆：系统使用的一部分内存空间(先进后出)
   栈：临时存放使用的函数(先进先出)

2. 进程的基本状态
  创建状态：进程在创建时需要申请一个空白PCB(process control block进程控制块)，向其中填写控制和管理进程的信息，完成资源分配。如果创建工作无法完成，比如资源无法满足，就无法被调度运行，把此时进程所处状态称为创建状态
  就绪状态：进程已准备好，已分配到所需资源，只要分配到CPU就能够立即运行
  执行状态：进程处于就绪状态被调度后，进程进入执行状态
  阻塞状态：正在执行的进程由于某些事件(I/O请求，申请缓存区失败)而暂时无法运行，进程受到阻塞。在满足请求时进入就绪状态等待系统调用
  终止状态：进程结束，或出现错误，或被系统终止，进入终止状态。无法再执行
 进程的状态转换
  运行——>就绪: 1,主要是进程占用CPU的时间过长，而系统分配给该进程占用CPU的时间是有限的;2,在采用抢先式优先级调度算法的系统中,当有更高优先级的进程要运行时，该进程就被迫让出CPU，该进程便由执行状态转变为就绪状态
  就绪——>运行： 运行的进程的时间片用完，调度就转到就绪队列中选择合适的进程分配CPU
  运行——>阻塞： 正在执行的进程因发生某等待事件而无法执行，则进程由执行状态变为阻塞状态，如发生了I/O请求
  阻塞——>就绪: 进程所等待的事件已经发生，就进入就绪队列
  以下两种状态是不可能发生的：
  阻塞——>运行： 即使给阻塞进程分配CPU，也无法执行，操作系统在进行调度时不会从阻塞队列进行挑选，而是从就绪队列中选取
  就绪——>阻塞： 就绪态根本就没有执行，谈不上进入阻塞态

3. IPC进程间通信
 IPC: Inter Process Communication
  同一主机：
   pipe 管道
   socket 套接字文件
   signal 信号
   shm shared memory
   semaphore 信号量，一种计数器,实现进程资源的调度
  不同主机：socket IP和端口号
   RPC remote procedure call(远程过程调用)
   MQ 消息队列，如：Kafka，RabbitMQ，ActiveMQ
   由一个MQ服务器，进程将消息写入队列可以在队列中读取队列

4. 进程优先级
 进程优先级：
  系统优先级： 数字越小，优先级越高
    0-139：各有140个运行队列和过期队列
  实时优先级: 99-0 值最大优先级最高 (基于fifo或rr)
   基于命令，命令不一样数字的涵义不一样
   例如pri是将0对应为系统139，139对应为0
   nice值： -20到19，对应系统优先级100-139
  Big O： 时间复杂度，用时和规模的关系
   O(1), O(logn), O(n)线性, O(n^2)抛物线, O(2^n)
 进程优先级调整
  静态优先级：100-139
  进程默认启动时的nice值为0，优先级为120
  只有root用户才能降低nice值（提高优先性）
   nice命令运行时指定进程的优先级
    nice [OPTION] [COMMAND [ARG]…]
   renice命令调整进程的优先级
    renice [-n] priority pid…
 查看
  ps axo pid,cmd,psr(cpu编号),ni(用户优先级),pri(系统优先级取反),rtprio(实时优先级)
  taskset -p pid 查看为pid的进程能运行在哪号cpu上(显示为16进制)
  taskset -cp 0,1 pid 将为pid的进程只能运行在0,1号cpu上
  pidof cmd 查看进程的PID

5. 进程类型
 Linux内核：抢占式多任务
  进程类型：
   守护进程: daemon,在系统引导过程中启动的进程，和终端无关进程
   前台进程：跟终端相关，通过终端启动的进程
   注意：两者可相互转化
  进程状态：
   运行态：running
   就绪态：ready
   睡眠态：
   可中断： interruptable
   不可中断： uninterruptable
   停止态：stopped,暂停于内存，但不会被调度，除非手动启动
   僵死态：zombie，结束进程，父进程结束前，子进程不关闭

6. 进程管理命令
 进程的分类：
  CPU-Bound： CPU密集型， 非交互
  IO-Bound： IO密集型， 交互
 pstree – display a tree of processes
 ps – process state Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中
  选项：
  a 选项包括所有终端中的进程
  x 选项包括不链接终端的进程
  u 选项显示进程所有者的信息
  f 选项显示进程树,相当于 --forest
  k|–sort 属性 对属性排序,属性前加"-“表示倒序
  o 属性… 选项显示定制的信息 pid、cmd、%cpu、%mem
  L 显示支持的属性列表
  -C cmdlist 指定命令,多个命令用”,"分隔
  -L 显示线程
  -e: 显示所有进程，相当于-A
  -f: 显示完整格式程序信息
  -F: 显示更完整格式的进程信息
  -H: 以进程层级格式显示进程相关信息
  -u userlist 指定有效的用户ID或名称
  -U userlist 指定真正的用户ID或名称
  -g gid或groupname 指定有效的gid或组名称
  -G gid或groupname 指定真正的gid或组名称
  -p pid 显示指pid的进程
  --ppid pid 显示属于pid的子进程
  -M 显示SELinux信息，相当于Z
  Head标头：
   USER 用户名
   UID 用户ID（User ID）
   PID 进程ID（Process ID）
   PPID 父进程的进程ID（Parent Process id）
   SID 会话ID（Session id）
   %CPU 进程的cpu占用率
   %MEM 进程的内存占用率
   VSZ 进程所使用的虚存的大小（Virtual Size）
   RSS 进程使用的驻留集大小或者是实际内存的大小，Kbytes字节。
   TTY 与进程关联的终端（tty）
   STAT 进程的状态：进程状态使用字符表示的（STAT的状态码）
    R 运行 Runnable (on run queue)正在运行或在运行队列中等待。
    S 睡眠 Sleeping 休眠中, 受阻, 在等待某个条件的形成或接受到信号。
    I 空闲 Idle
    Z 僵死 Zombie（a defunct process)进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调用后释放。
    D 不可中断 Uninterruptible sleep (ususally IO) 收到信号不唤醒和不可运行, 进程必须等待直到有中断发生。
    T 终止 Terminate 进程收到SIGSTOP, SIGSTP, SIGTIN, SIGTOU信号后停止运行运行。
    P 等待交换页
    W 无驻留页 has no resident pages 没有足够的记忆体分页可分配。
    X 死掉的进程
    < 高优先级进程 高优先序的进程
    N 低优先级进程 低优先序的进程
    L 内存分页并带锁 Lock 有记忆体分页分配并缩在记忆体内
    s 进程的领导者（在它之下有子进程）；
    l 多进程的（使用 CLONE_THREAD, 类似 NPTL pthreads）
    + 位于后台的进程组
   START 进程启动时间和日期
   TIME 进程使用的总cpu时间
   COMMAND 正在执行的命令行命令
   NI 优先级(Nice)
   PRI 进程优先级编号(Priority)
   WCHAN 进程正在睡眠的内核函数名称；该函数的名称是从/root/system.map文件中获得的。
   FLAGS 与进程相关的数字标识
  示例：
   查询你拥有的所有进程
   ps -x
   显示指定用户名(RUID)或用户ID的进程
   ps -fU apache
   ps -fU 48
   显示指定用户名(EUID)或用户ID的进程
   ps -fu zhang
   ps -fu 1000
   查看以root用户权限（实际和有效ID）运行的每个进程
   ps -U root -u root
   列出某个组拥有的所有进程（实际组ID：RGID或名称）
   ps -fG nginx
   列出有效组名称（或会话）所拥有的所有进程
   ps -fg mysql
   ps -fg 27
   显示指定的进程ID对应的进程
   ps -fp 1234
   以父进程ID来显示其下所有的进程，如显示父进程为1234的所有进程
   ps -f --ppid 1234
   显示指定PID的多个进程
   ps -fp 1234,1235,1246
   要按tty显示所属进程
   ps -ft pts/0
   以进程树显示系统中的进程如何相互链接
   ps -e --forest
   以进程树显示指定的进程
   ps -f --forest -C sshd
   ps -ef --forest|grep -v grep |grep sshd
   要显示一个进程的所有线程,将显示LWP(轻量级进程)以及NLWP(轻量级进程数)列
   ps -fL -C nginx
   要列出所有格式说明符
   ps L
   查看进程的PID，PPID，用户名和命令
   ps -eo pid,ppid,user,cmd
   自定义格式显示文件系统组,ni值开始时间和进程的时间
   ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime
   使用其PID查找进程名称：
   ps -p 1234 -o comm=
   要以其名称选择特定进程，显示其所有子进程
   ps -C sshd,bash查找指定进程名所有的所属PID，在编写需要从std输出或文件读取PID的脚本时这个参数很有用
   ps -C httpd, sshd -o pid=
   检查一个进程的执行时间
   ps -eo comm,etime,user|grep nginx
   查找占用最多内存和CPU的进程
   ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem|head
   ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu|head
   显示安全信息
   ps -eM
   ps --context
   使用以下命令以用户定义的格式显示安全信息
   ps -eMo euser,ruser,suser,fuser,f,comm,label
   使用watch实用程序执行重复的输出以实现对就程进行实时的监视，如下面的命令显示每秒钟的监视
   watch -n 1 ‘ps -eo pid,ppid,cmd,%mem,%cpu, --sort=-%mem |head’
   最灵活：ps 选项 | 其它命令
 按预定义的模式：pgrep
  pgrep [options] pattern
   -u uid: effective user，生效者
   -U uid: real user， 真正发起运行命令者
   -t terminal: 与指定终端相关的进程
   -l: 显示进程名
   -a: 显示完整格式的进程名
   -P pid: 显示指定进程的子进程
 按确切的程序名称：/sbin/pidof
  pidof bash

7. 系统工具
 /proc/uptime 包括两个值，单位 s
  系统启动时长，空闲进程的总时长（按总的CPU核数计算）
 uptime 和 w
  显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、10分钟的平均负载，一般不会超过1）
  系统平均负载:
   指在特定时间间隔内运行队列中的平均进程数
   通常每个CPU内核的当前活动进程数不大于3，那么系统的性能良好。
   如果每个CPU内核的任务数大于5，那么此主机的性能有严重问题
   如果linux主机是1个双核CPU，当Load Average 为6的时候说明机器已经被充分使用

8. 进程管理工具
 top
  排序：
   P: 以占据的CPU百分比,%CPU
   M: 占据内存百分比,%MEM
   T: 累积占据CPU时长,TIME+
  首部信息显示：
   uptime信息： l命令
   tasks及cpu信息：t命令
   cpu分别显示： 1 (数字)
   memory信息： m命令
   退出命令: q
   修改刷新时间间隔: s
   终止指定进程: k
   保存文件: W
  栏位信息简介
   us: 用户空间
   sy: 内核空间
   ni: 调整nice时间
   id: 空闲
   wa: 等待IO时间
   hi: 硬中断 (硬件与内核通信)
   si: 软中断(模式切换)
   st: 虚拟机偷走的时间
  选项：
   -d # 指定刷新时间间隔，默认为3秒
   -b 全部显示所有进程
   -n # 刷新多少次后退出
   -H 线程模式，示例：top -H -p pidof mysqld
 htop命令
  选项：
   -d #: 指定延迟时间；
   -u UserName: 仅显示指定用户的进程
   -s COLUME: 以指定字段进行排序
  子命令：
   s: 跟踪选定进程的系统调用
   l: 显示选定进程打开的文件列表
   a: 将选定的进程绑定至某指定CPU核心
   t: 显示进程树
 free命令-- 内存空间使用状态
  -b 以字节为单位
  -m 以MB为单位
  -g 以GB为单位
  -h 易读格式
  -o 不显示-/+buffers/cache行(buffers–写,cache–读)
  清理cache echo 1 > /proc/sys/vm/drop_caches
  -t 显示RAM + swap的总和
  -s n 刷新间隔为n秒
  -c n 刷新n次后即退出
 vmstat命令-- 虚拟内存信息
  vmstat [options] [delay [count]]
  vmstat 2 5
  procs
   r： 可运行（正运行或等待运行）进程的个数，和核心数有关
   b： 处于不可中断睡眠态的进程个数(被阻塞的队列的长度)
  memory
   swpd: 交换内存的使用总量
   free： 空闲物理内存总量
   buffer：用于buffer的内存总量
   cache： 用于cache的内存总量
  swap
   si： 从磁盘交换进内存的数据速率(kb/s)
   so： 从内存交换至磁盘的数据速率(kb/s)
  io
   bi： 从块设备读入数据到系统的速率(kb/s)
   bo: 保存数据至块设备的速率
  system：
   in: interrupts 中断速率，包括时钟
   cs: context switch 进程切换速率
  cpu：
   us: Time spent running non-kernel code
   sy: Time spent running kernel code
   id: Time spent idle. Linux 2.5.41前,包括IO-wait time.
   wa: Time spent waiting for IO. 2.5.41前，包括in idle.
   st: Time stolen from a virtual machine
  选项：
   -s: 显示内存的统计数据

9.系统监控工具
 iostat: 统计CPU和设备IO信息
  示例：iostat 1 10
 iftop: 显示带宽使用情况,epel源
  示例: iftop -n -i eth1
 pmap命令: 进程对应的内存映射
  pmap [options] pid […]
  -x: 显示详细格式的信息
  示例: pmap 1
 strace cmd 跟踪cmd查看其用了哪些系统调用
 ltrace cmd 查看cmd运行时调用了哪些函数库
  另外一种实现
  cat /proc/PID/maps
 glances命令:EPEL源
  glances [-bdehmnrsvyz1][-B bind][-c server][-C conffile][-p port][-P password][–password][-t refresh][-f file][-o output]
   a Sort processes automatically l Show/hide logs
   c Sort processes by CPU%   b Bytes or bits for network I/O
   m Sort processes by MEM%   w Delete warning logs
   p Sort processes by name    x Delete warning and critical logs
   i Sort processes by I/O rate   1 Global CPU or per-CPU stats
   d Show/hide disk I/O stats    h Show/hide this help screen
   f Show/hide file system stats   t View network I/O as combination
   n Show/hide network stats   u View cumulative network I/O
   s Show/hide sensors stats    q Quit (Esc and Ctrl-C also work)
   y Show/hide hddtemp stats
   -b: 以Byte为单位显示网卡数据速率
   -d: 关闭磁盘I/O模块
   -f /path/to/somefile: 设定输入文件位置
   -o {HTML|CSV}： 输出格式
   -m: 禁用mount模块
   -n: 禁用网络模块
   -t #: 延迟时间间隔
   -1： 每个CPU的相关数据单独显示
  C/S模式下运行glances命令
   服务器模式：
    glances -s -B IPADDR
    IPADDR: 指明监听的本机哪个地址
   客户端模式：
    glances -c IPADDR
    IPADDR：要连入的服务器端地址
 dstat命令：系统资源统计,代替vmstat,iostat
  dstat [-afv] [options…] [delay [count]]
  -c 显示CPU系统占用，用户占用，空闲，等待，中断，软件中断等信息
  -C 当有多个CPU时候，此参数可按需分别显示cpu状态 例：-C 0,1 是显示cpu0和cpu1的信息
  -d 显示磁盘读写数据大小
  -D total,sda,sdb,…
  -n 显示网络状态
  -N eth1,total：有多块网卡时，指定要显示的网卡。
  -l 显示系统负载情况
  -g 显示页面使用情况
  -m 显示内存使用情况
  -p 显示进程状态
  -r I/O请求情况
  -s 显示交换分区使用情况
  -y 系统状态
  --tcp
  --udp
  --unix
  --raw
  --socket 用来显示tcp/udp端口状态
  --ipc 显示ipc消息队列,信号等信息
  --top-cpu： 显示最占用CPU的进程
  --top-io: 显示最占用io的进程
  --top-mem: 显示最占用内存的进程
  --top-latency: 显示延迟最大的进程
  --output 文件：此选项也比较有用，可以把状态信息以csv的格式重定向到指定的文件中，以便日后查看。
  例：dstat --output
   /root/dstat.csv & 此时让程序默默的在后台运行并把结果输出到/root/dstat.csv文件中。
    cpu： hiq、siq分别为硬中断和软中断次数
    system：int、csw分别为系统的中断次数（interrupt）和上下文切换（context switch）
 iotop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息，可查看每个进程是如何使用IO
  iotop输出
   第一行：Read和Write速率总计
   第二行：实际的Read和Write速率
   第三行：参数如下：
    线程ID（按p切换为进程ID）
    优先级
    用户
    磁盘读速率
    磁盘写速率
    swap交换百分比
    IO等待所占的百分比
  线程/进程命令
   -o, --only 只显示正在产生I/O的进程或线程，除了传参，可以在运行过程中按o生效
   -b, --batch 非交互模式，一般用来记录日志
   -n NUM,–iter=NUM 设置监测的次数，默认无限。在非交互模式下很有用
   -d SEC,–delay=SEC 设置每次监测的间隔，默认1秒，接受非整形数据例如1.1
   -p PID,–pid=PID 指定监测的进程/线程
   -u USER,–user=USER 指定监测某个用户产生的I/O
   -P,–processes 仅显示进程，默认iotop显示所有线程
   -a,–accumulated 显示累积的I/O，而不是带宽
   -k,–kilobytes 使用kB单位，而不是对人友好的单位。在非交互模式下，脚本编程有用
   -t,–time 加上时间戳，非交互非模式
   -q,–quiet 禁止头几行，非交互模式，有三种指定方式
   -q 只在第一次监测时显示列名
   -qq 永远不显示列名
   -qqq 永远不显示I/O汇总
  交互按键
   left和right方向键：改变排序
   r：反向排序
   o：切换至选项–only
   p：切换至–processes选项
   a：切换至–accumulated选项
   q：退出
   i：改变线程的优先级
 nload-- 查看网络实时吞吐量
  nload是一个实时监控网络流量和带宽使用情况，以数值和动态图展示进出的流量情况
  安装：yum -y install nload (EPEL源)
  界面操作
   上下方向键、左右方向键、enter键或者tab键都就可以切换查看多个网卡的流量情况
   按 F2 显示选项窗口
   按 q 或者 Ctrl+C 退出 nload
  示例：
   nload： 默认只查看第一个网络的流量进出情况
   nload eth0 eth1： 在nload后面指定网卡，可以指定多个
   设置刷新间隔：默认刷新间隔是100毫秒，可通过 -t命令设置刷新时间（单位是毫秒）
   nload -t 500 eth0
   设置单位：显示两种单位一种是显示Bit/s、一种是显示Byte/s，默认是以Bit/s，也可不显示/s
    -u h|b|k|m|g|H|B|K|M|G – h:auto, b:Bit/s, k:kBit/s, m:MBit/s, H:auto, B:Byte/s, K:kByte/s, M:MByte/s
   nload -u M eth0
 lsof：list open files查看当前系统文件的工具。
  在linux环境下，一切皆文件，用户通过文件不仅可以访问常规数据， 还可以访问网络连接和硬件如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等，系统在后台都为该应用程序分配了一个文件描述符
  命令参数
   -a： 列出打开文件存在的进程
   -c<进程名>：列出指定进程所打开的文件
   -g： 列出GID号进程详情
   -d<文件号>：列出占用该文件号的进程
    +d<目录>： 列出目录下被打开的文件
   +D<目录>： 递归列出目录下被打开的文件
    -n<目录>： 列出使用NFS的文件
    -i<条件>： 列出符合条件的进程(4、6、协议、:端口、 @ip )
   -p<进程号>：列出指定进程号所打开的文件
    -u： 列出UID号进程详情
    -h： 显示帮助信息
   -v： 显示版本信息。
   -n: 不反向解析网络名字
  示例:
  进程管理
   查看由登陆用户启动而非系统启动的进程
   lsof /dev/pts/1
   指定进程号，可以查看该进程打开的文件
   lsof -p 9527
  文件管理
   查看指定程序打开的文件
   lsof -c httpd
   查看指定用户打开的文件
   lsof -u root | more
   查看指定目录下被打开的文件
    lsof +D /var/log/
    lsof +d /var/log/
    参数+D为递归列出目录下被打开的文件，参数+d为列出目录下被打开的文件
  网络管理
    查看所有网络连接
   lsof -i –n
    lsof -i@127.0.0.1
    通过参数-i查看网络连接的情况，包括连接的ip、端口等以及一些服务的连接情况，
   例如：sshd等。也可以通过指定ip查看该ip的网络连接情况
   查看端口连接情况
    lsof -i :80 -n
    通过参数-i:端口可以查看端口的占用情况，-i参数还有查看协议，ip的连接情况等
    查看指定进程打开的网络连接
    lsof -i –n -a -p 9527
    参数-i、-a、-p等，-i查看网络连接情况，-a查看存在的进程，-p指定进程
    查看指定状态的网络连接
    lsof -n -P -i TCP -s TCP:ESTABLISHED
    -n:no host names,
    -P:no port names,
    -i TCP指定协议，
    -s指定协议状态
    通过多个参数可以清晰的查看网络连接情况、协议连接情况等
   恢复删除文件
   lsof |grep /var/log/messages
   rm -f /var/log/messages
    lsof |grep /var/log/messages
   cat /proc/653/fd/6
    cat /proc/653/fd/6 > /var/log/messages

10.进程管理工具
 kill命令：向进程发送控制信号,以实现对进程管理,每个信号对应一个数字,信号名称以SIG开头(可省略)不区分大小写
  显示当前系统可用信号： kill –l 或者 trap -l
  常用信号：man 7 signal
   0) 检查进程是否启动
    1) SIGHUP 无须关闭进程而让其重读配置文件
   2) SIGINT 中止正在运行的进程；相当于Ctrl+c
   3) SIGQUIT 相当于ctrl+
   9) SIGKILL 强制杀死正在运行的进程
   15) SIGTERM 终止正在运行的进程
   18) SIGCONT 继续运行
    19) SIGSTOP 后台休眠
  指定信号的方法 :
    (1) 信号的数字标识：1, 2, 9
   (2) 信号完整名称：SIGHUP
   (3) 信号的简写名称：HUP
  按PID：kill [-SIGNAL] pid …
    kill –n SIGNAL pid
   kill –s SIGNAL pid
  按名称：killall [-SIGNAL] comm…
  按模式：pkill [options] pattern
    -SIGNAL
   -u uid: effective user，生效者
   -U uid: real user，真正发起运行命令者
   -t terminal: 与指定终端相关的进程
   -l: 显示进程名（pgrep可用）
   -a: 显示完整格式的进程名（pgrep可用）
   -P pid: 显示指定进程的子进程