Linux内核梳理

Linux内核说明
Linux内核一般由5部分组成，它们分别是内存管理、进程管理、进程间通信、虚拟文件系统和网络接口。
1、内存管理
概述：
内存管理主要完成的是如何合理有效地管理整个系统的物理内存，同时快速响应内核各个子系统对内存分配的请求。
Linux内存管理支持虚拟内存，而多余出的这部分内存就是通过磁盘申请得到的，平时系统只把当前运行的程序块保留在内存中，其他程序块则保留在磁盘中。在内存紧缺时，内存管理负责在磁盘和内存间交换程序块。
详解：
①物理内存和虚拟内存
直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。
物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。
作为物理内存的扩展，linux会在物理内存不足时，使用交换分区的虚拟内存，更详细的说，就是内核会将暂时不用的内存块信息写到交换空间，这样以来，物理内存得到了释放，这块内存就可以用于其它目的，当需要用到原始的内容时，这些信息会被重新从交换空间读入物理内存。
② Linux分页存取机制
linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。
虚拟内存地址和物理内存地址的分离，给进程带来便利性和安全性。但虚拟内存地址和物理内存地址的翻译，又会额外耗费计算机资源。在多任务的现代计算机中，虚拟内存地址已经成为必备的设计。那么，操作系统必须要考虑清楚，如何能高效地翻译虚拟内存地址。
记录对应关系最简单的办法，就是把对应关系记录在一张表中。为了让翻译速度足够地快，这个表必须加载在内存中。不过，这种记录方式惊人地浪费。如果树莓派1GB物理内存的每个字节都有一个对应记录的话，那么光是对应关系就要远远超过内存的空间。由于对应关系的条目众多，搜索到一个对应关系所需的时间也很长。这样的话，会让树莓派陷入瘫痪。
因此，Linux采用了分页（paging）的方式来记录对应关系。所谓的分页，就是以更大尺寸的单位页（page）来管理内存。在Linux中，通常每页大小为4KB。如果想要获取当前树莓派的内存页大小，可以使用命令：$getconf PAGE_SIZE 查看字节数。
内存分页，可以极大地减少所要记录的内存对应关系。我们已经看到，以字节为单位的对应记录实在太多。如果把物理内存和进程空间的地址都分成页，内核只需要记录页的对应关系，相关的工作量就会大为减少。由于每页的大小是每个字节的4000倍。因此，内存中的总页数只是总字节数的四千分之一。对应关系也缩减为原始策略的四千分之一。分页让虚拟内存地址的设计有了实现的可能。
无论是虚拟页，还是物理页，一页之内的地址都是连续的。这样的话，一个虚拟页和一个物理页对应起来，页内的数据就可以按顺序一一对应。这意味着，虚拟内存地址和物理内存地址的末尾部分应该完全相同。大多数情况下，每一页有4096个字节。由于4096是2的12次方，所以地址最后12位的对应关系天然成立。我们把地址的这一部分称为偏移量（offset）。偏移量实际上表达了该字节在页内的位置。地址的前一部分则是页编号。操作系统只需要记录页编号的对应关系。
③多级分页表
内存分页制度的关键，在于管理进程空间页和物理页的对应关系。操作系统把对应关系记录在分页表（page table）中。这种对应关系让上层的抽象内存和下层的物理内存分离，从而让Linux能灵活地进行内存管理。由于每个进程会有一套虚拟内存地址，那么每个进程都会有一个分页表。为了保证查询速度，分页表也会保存在内存中。分页表有很多种实现方式，最简单的一种分页表就是把所有的对应关系记录到同一个线性列表中。
2、进程管理
概述：
进程管理主要控制系统进程对CPU的访问。当需要某个进程运行时，由进程调度器根据基于优先级的调度算法启动新的进程。Linux支持多任务运行，那么如何在一个单CPU上支持多任务呢？这个工作就是由进程调度管理来实现的。
在系统运行时，每个进程都会分得一定的时间片，然后进程调度器根据时间片的不同，选择每个进程依次运行，例如当某个进程的时间片用完后，调度器会选择一个新的进程继续运行。
由于切换的时间和频率都非常的快，由此用户感觉是多个程序在同时运行，而实际上，CPU在同一时间内只有一个进程在运行，这一切都是进程调度管理的结果。
Linux十二个进程管理命令：
ps
'ps’是Linux 中最基础的浏览系统中的进程的命令。能列出系统中运行的进程，包括进程号、命令、CPU使用量、内存使用量等。下述选项可以得到更多有用的消息。
常用命令：
ps -a - 列出所有运行中/激活进程
ps -ef |grep - 列出需要进程
ps -aux - 显示进程信息，包括无终端的（x）和针对用户（u）的进程：如USER, PID, %CPU, %MEM等
pstree
linux中，每一个进程都是由其父进程创建的。此命令以可视化方式显示进程，通过显示进程的树状图来展示进程间关系。如果指定了pid了，那么树的根是该pid，不然将会是init（pid： 1）
top
‘top’是一个更加有用的命令，可以监视系统中不同的进程所使用的资源。它提供实时的系统状态信息。显示进程的数据包括PID、进程属主、优先级、%CPU、%memory等。可以使用这些显示指示出资源使用量。
htop
htop与top很类似，但是htop是交互式的文本模式的进程查看器。它通过文字图形化地显示每一个进程的CPU和内存使用量、swap使用量。使用上下光标键选择进程，F7和F8改变优先级，F9杀死进程。Htop不是系统默认安装的，所以需要额外安装。
nice
通过nice命令的帮助，用户可以设置和改变进程的优先级。提高一个进程的优先级，内核会分配更多CPU时间片给这个进程。默认情况下，进程以0的优先级启动。进程优先级可以通过top命令显示的NI（nice value）列查看。
常用命令：
nice <优先值> <进程名> - 通过给定的优先值启动一个程序
renice
renice命令类似nice命令。使用这个命令可以改变正在运行的进程优先值。注意，用户只能改变属于他们自己的进程的优先值。
常用命令：
renice -n -p - 改变指定进程的优先值
renice -u -g - 通过指定用户和组来改变进程优先值
Kill
这个命令用于发送信号来结束进程。如果一个进程没有响应杀死命令，这也许就需要强制杀死，使用-9参数来执行。注意，使用强制杀死的时候一定要小心，因为进程没有时机清理现场，也许写入文件没有完成。如果我们不知道进程PID或者打算用名字杀死进程时候，killall就能派上用场。
常用命令
kill
kill -9
killall -9 - 杀死所有拥有同样名字的进程
pkill <进程名>
ulimit
该命令用于控制系统资源在shell和进程上的分配量。对于系统管理员是最有用的，可以管理重度使用和存在性能问题的系统。限制资源大小可以确保重要进程持续运行，其他进程不会占用过多资源。
常用命令：
ulimit -a - 显示当前用户关联的资源限制
-f :最大文件尺寸大小
-v :最大虚拟内存大小（KB）
-n :增加最大文件描述符数量
-H :改变和报告硬限制
-S :改变和报告软限制
w
w 提供当前登录的用户及其正在执行的进程的信息。显示信息头包含信息，如当前时间、系统运行时长、登录用户总数、过去的1，5，15分钟内的负载均衡数。
pgrep
pgrep的意思是"进程号全局正则匹配输出"。该命令扫描当前运行进程，然后按照命令匹配条件列出匹配结果到标准输出。对于通过名字检索进程号是很有用。
pgrep -u mint sh(这个命令将会显示用户为‘mint’和进程名为‘sh’的进程ID)
fg , bg
有时，命令需要很长的时间才能执行完成。对于这种情况，我们使用‘bg’命令可以将任务放在后台执行，而用‘fg’可以调到前台来使用。
ipcs
ipcs命令报告进程间通信设施状态。（共享内存，信号量和消息队列）
用-p参数联合-m、-s或-q使用，可以获得相关的进程间通信的进程ID。
常用命令：
ipcs -p -m
3、进程间通信
概述：
进程间通信主要用于控制不同进程之间在用户空间的同步、数据共享和交换。由于不用的用户进程拥有不同的进程空间，因此进程间的通信要借助于内核的中转来实现。
一般情况下，当一个进程等待硬件操作完成时，会被挂起。当硬件操作完成，进程被恢复执行，而协调这个过程的就是进程间的通信机制。
详解：
Linux进程间基本的通信方式主要有：管道(pipe)(包括匿名管道和命名管道)、信号(signal)、消息队列(queue)、共享内存、信号量和套接字。
①管道：管道的实质是一个内核缓冲区，管道的作用正如其名，需要通信的两个进程在管道的两端，进程利用管道传递信息。管道对于管道两端的进程而言，就是一个文件，但是这个文件比较特殊，它不属于文件系统并且只存在于内存中。
管道依据是否有名字分为匿名管道和命名管道(有名管道)，这两种管道有一定的区别。
匿名管道有几个重要的限制：
管道是半双工的，数据只能在一个方向上流动，A进程传给B进程，不能反向传递
管道只能用于父子进程或兄弟进程之间的通信，即具有亲缘关系的进程。
命名管道允许没有亲缘关系的进程进行通信。命名管道不同于匿名管道之处在于它提供了一个路径名与之关联，这样一个进程即使与创建有名管道的进程不存在亲缘关系，只要可以访问该路径，就能通过有名管道互相通信。
②信号：信号是软件层次上对中断机制的一种模拟，是一种异步通信方式，进程不必通过任何操作来等待信号的到达。信号可以在用户空间进程和内核之间直接交互，内核可以利用信号来通知用户空间的进程发生了哪些系统事件。
信号来源：
信号事件的发生有两个来源：硬件来源，比如我们按下了键盘或者其它硬件故障；软件来源，最常用发送信号的系统函数是kill, raise, alarm和setitimer以及sigqueue函数，软件来源还包括一些非法运算等操作。
进程对信号的响应：
进程可以通过三种方式来响应信号：(1)忽略信号，即对信号不做任何处理，但是有两个信号是不能忽略的：SIGKLL和SIGSTOP；（2）捕捉信号，定义信号处理函数，当信号发生时，执行相应的处理函数；（3）执行缺省操作，Linux对每种信号都规定了默认操作。
③消息队列：消息队列是消息的链表,具有特定的格式,存放在内存中并由消息队列标识符标识，并且允许一个或多个进程向它写入与读取消息
④共享内存：使得多个进程可以可以直接读写同一块内存空间，是针对其他通信机制运行效率较低而设计的。
为了在多个进程间交换信息，内核专门留出了一块内存区，可以由需要访问的进程将其映射到自己的私有地址空间。进程就可以直接读写这一块内存而不需要进行数据的拷贝，从而大大提高效率。
需要注意的是：共享内存并未提供同步机制，在一个进程结束对共享内存的写操作之前，并无自动机制可以阻止另二个进程开始对它进行读取。所以，我们通常需要用其他的机制来同步对共享内存的访问。
⑤信号量：信号量实质上就是一个标识可用资源数量的计数器，它的值总是非负整数。而只有0和1两种取值的信号量叫做二进制信号量（或二值信号量），可用用来标识某个资源是否可用。
⑥套接字：套接字是更为基础的进程间通信机制，与其他方式不同的是，套接字可用于不同机器之间的进程间通信。
有两种类型的套接字：基于文件的和面向网络的。
(1).Unix套接字是基于文件的，并且拥有一个“家族名字”–AF_UNIX，它代表地址家族(address family)：UNIX。
(2).第二类型的套接字是基于网络的，它也有自己的家族名字–AF_INET，代表地址家族(address family):INTERNET
不管采用哪种地址家族，都有两种不同的套接字连接：面向连接的和无连接的。
(1)面向连接的套接字(SOCK_STREAM)：进行通信前必须建立一个连接，面向连接的通信提供序列化的、可靠地和不重复的数据交付，而没有记录边界。
这意味着每条信息可以被拆分成多个片段，并且每个片段都能确保到达目的地，然后在目的地将信息拼接起来。
实现这种连接类型的主要协议是传输控制协议(TCP)。
(2)无连接的套接字(SOCK_DGRAM)：在通信开始之前并不需要建立连接，在数据传输过程中并无法保证它的顺序性、可靠性或重复性。
然而,数据报确实保存了记录边界,这就意味着消息是以整体发送的,而并非首先分成多个片段。
由于面向连接的套接字所提供的保证,因此它们的设置以及对虚拟电路连接的维护需要大量的开销。然而,数据报不需要这些开销,即它的成本更加“低廉”
实现这种连接类型的主要协议是用户数据报协议(UDP)。
4、虚拟文件系统
概述：
Linux内核中的虚拟文件系统用一个通用的文件模型表示了各种不同的文件系统，这个文件模型屏蔽了很多具体文件系统的差异，使Linux内核支持很多不同的文件系统。
这个文件系统可以分为逻辑文件系统和设备驱动程序：逻辑文件系统指Linux所支持的文件系统，例如ext2、ext3和fat等；设备驱动程序指为每一种硬件控制器所编写的设备驱动程序模块。
详解：
Linux中可以支持多种文件系统，而且支持各种文件系统之间相互访问，这是因为有一个虚拟文件系统。虚拟文件系统也叫虚拟文件系统转换（Virtual Filesystem Switch，简称VFS），之所以说它虚拟，是因为该文件系统的各种数据结构都是随时建立或删除的，在盘上并不永久存在，只能存放在内存中。也就是说，只有VFS是无法工作的，因为它不是真正的文件系统。
VFS为底层文件系统提供了抽象，有两种策略提供这种抽象。

1. 提供一个最小的通用模型，使得这个模型支持的功能是所有文件系统的最小交集
2. 提供一个尽量大的通用模型，使得这个模型包含所有文件系统功能的合集。
   Linux采用第二种策略来实现VFS，因此VFS封装了底层文件系统的所有功能和抽象，VFS负责把应用层的请求转发给特定的文件系统。
   在处理文件时，应用空间和内核空间使用的对象是不同的。对应用程序来说，文件描述符用来表示一个文件，这个文件描述符是打开文件时内核分配给这个文件的一个整数，注意，这个文件描述符只在本进程内有效；而对于内核来说，则使用一个inode来表示一个文件，这个inode可能对应着应用层多个进程内的多个文件描述符。
   5、网络接口
   概述：
   网络接口提供了对各种网络标准的实现和各种网络硬件的支持。网络接口一般分为网络协议和网络驱动程序。网络协议部分负责实现每一种可能的网络传输协议。
   网络设备驱动程序则主要负责与硬件设备进行通信，每一种可能的网络硬件设备都有相应的设备驱动程序。
   详解：
   ①网络接口的命名
   　　这里并不存在一定的命名规范，但网络接口名字的定义一般都是要有意义的。例如：
   　　eth0: ethernet的简写，一般用于以太网接口。
   　　wifi0:wifi是无线局域网，因此wifi0一般指无线网络接口。
   　　ath0: Atheros的简写，一般指Atheros芯片所包含的无线网络接口。
   　　lo: local的简写，一般指本地环回接口。
   ②网络接口如何工作
   　　网络接口是用来发送和接受数据包的基本设备。
   　　系统中的所有网络接口组成一个链状结构，应用层程序使用时按名称调用。
   　 每个网络接口在linux系统中对应于一个struct net_device结构体，包含name,mac,mask,mtu…信息。
   　　每个硬件网卡(一个MAC)对应一个网络接口，其工作完全由相应的驱动程序控制。
   ③虚拟网络接口
   　　虚拟网络接口的应用范围非常广泛。最着名的当属“lo”了，基本上每个linux系统都有这个接口。
   　　虚拟网络接口并不真实地从外界接收和发送数据包，而是在系统内部接收和发送数据包，因此虚拟网络接口不需要驱动程序。
   　　虚拟网络接口和真实存在的网络接口在使用上是一致的。
   ④网络接口的创建
   　　硬件网卡的网络接口由驱动程序创建。而虚拟的网络接口由系统创建或通过应用层程序创建。
   　　驱动中创建网络接口的函数是：register_netdev(struct net_device *)或者register_netdevice(struct net_device *)。
   　　这两个函数的区别是：register_netdev(…)会自动生成以”eth”作为打头名称的接口，而register_netdevice(…)需要提前指定接口名称.事实上，register_netdev(…)也是通过调用register_netdevice(…)实现的。
   ⑤lo接口的作用
   本地一个进程发起连接，到一个本地的daemon监听的内网IP地址(eth1: 10.1.1.1)的端口(8085)，此时在eth1上是抓不到包的，在 lo 上抓到，说明使用的是本地回环接口lo，而网络层的IP地址则是内网IP地址.
   lo其实是一个系统虚拟的环回接口，它的IP地址是127.0.0.1，利用这个接口可以实现系统内部发送和接收数据，所以一般情况下我们使用：ping 127.0.0.1 是可以ping通的，因为这其实就是系统内部建立连接。
   127.0.0.1，通常被称为本地回环地址(Loop back address)，不属于任何一个有类别地址类。它代表设备的本地虚拟接口，所以默认被看作是永远不会宕掉的接口。通常在不安装网卡前就可以ping通这个本地回环地址。一般都会用来检查本地网络协议、基本数据接口等是否正常的。
   其主要作用有两个：
   一是测试本机的网络配置，能PING通127.0.0.1说明本机的网卡和IP协议安装都没有问题；
   另一个作用是某些SERVER/CLIENT的应用程序在运行时需调用服务器上的资源
   常用命令：
   ifconfig查看网卡信息
   service network status 查看网卡状态
   service network stop 停止网卡
   service network start 启动网卡
   service network restart 重启网卡