linux

最新推荐文章于 2022-02-16 16:01:25 发布

AquilaEAG

最新推荐文章于 2022-02-16 16:01:25 发布

阅读量237

点赞数

分类专栏：基础知识

本文链接：https://blog.csdn.net/weixin_43202635/article/details/107502028

版权

基础知识专栏收录该内容

25 篇文章 0 订阅

订阅专栏

参考

1.Linux的 I/O模型介绍以及同步异步阻塞非阻塞的区别

同步、异步

同步：用户进程发起IO后，进行就绪判断，轮询内核状态。
异步：用户进程发起IO后，可以做其他事情，等待内核通知。

阻塞、非阻塞

阻塞：用户进程访问数据时，如果未完成IO，调用的进程一直处于等待状态，直到IO操作完成。
非阻塞：用户进程访问数据时，会马上返回一个状态值，无论是否完成，此时进程可以操作其他事情。

Linux下的五种IO模型

阻塞I/O（blocking I/O）
非阻塞I/O（nonblocking I/O）
I/O复用(select和poll) （I/O multiplexing）
信号驱动I/O（signal driven I/O (SIGIO)）
异步I/O （asynchronous I/O (the POSIX aio_functions)）
Tip：前四种都是同步，只有最后一种才是异步I/O。

https://blog.csdn.net/weixin_41563161/article/details/104086016

2.文件系统的理解（ EXT4 , XFS , BTRFS )

Ext4 文件系统

ext4 还有一些明显的限制。最大文件大小是 16 tebibytes（大概是 17.6 terabytes），这比普通用户当前能买到的硬盘还要大的多。使用 ext4 能创建的最大卷/分区是 1 exbibyte（大概是 1,152,921.5 terabytes）。通过使用多种技巧， ext4 比 ext3 有很大的速度提升。类似一些最先进的文件系统，它是一个日志文件系统，意味着它会对文件在磁盘中的位置以及任何其它对磁盘的更改做记录。纵观它的所有功能，它还不支持透明压缩、重复数据删除或者透明加密。技术上支持了快照，但该功能还处于实验性阶段。

Btrfs 文件系统

btrfs 有很多不同的叫法，例如 Better FS、Butter FS 或者 B-Tree FS。它是一个几乎完全从头开发的文件系统。btrfs 出现的原因是它的开发者起初希望扩展文件系统的功能使得它包括快照、池化（pooling）、校验以及其它一些功能。虽然和 ext4 无关，它也希望能保留 ext4 中能使消费者和企业受益的功能，并整合额外的能使每个人，尤其是企业受益的功能。对于使用大型软件以及大规模数据库的企业，让多种不同的硬盘看起来一致的文件系统能使他们受益并且使数据整合变得更加简单。删除重复数据能降低数据实际使用的空间，当需要镜像一个单一而巨大的文件系统时使用 btrfs 也能使数据镜像变得简单。

用户当然可以继续选择创建多个分区从而无需镜像任何东西。考虑到这种情况，btrfs 能横跨多种硬盘，和 ext4 相比，它能支持 16 倍以上的磁盘空间。btrfs 文件系统一个分区最大是 16 exbibytes，最大的文件大小也是 16 exbibytes。

XFS 文件系统

XFS 文件系统是扩展文件系统（extent file system）的一个扩展。XFS 是 64 位高性能日志文件系统。对 XFS 的支持大概在 2002 年合并到了 Linux 内核，到了 2009 年，红帽企业版 Linux 5.4 也支持了 XFS 文件系统。对于 64 位文件系统，XFS 支持最大文件系统大小为 8 exbibytes。XFS 文件系统有一些缺陷，例如它不能压缩，删除大量文件时性能低下。目前RHEL 7.0 文件系统默认使用 XFS。

https://blog.csdn.net/weixin_41563161/article/details/104086827

3.文件处理 grep, awk, sed 这三个命令

grep：文本过滤器，如果仅仅是过滤文本，可使用grep，其效率要比其他的高很多；

sed：Stream EDitor，流编辑器，默认只处理模式空间，不处理原数据，如果你处理的数据是针对行进行处理的，可以使用sed；

awk：报告生成器，格式化以后显示。如果对处理的数据需要生成报告之类的信息，或者你处理的数据是按列进行处理的，最好使用awk。

https://blog.csdn.net/weixin_41563161/article/details/104087095

4.I/O 复用的三种方法（ setect, polt, epoll ）深入理解，包括三者区别，内部原理实现？

（一）IO复用是Linux中的IO模型之一，IO复用就是进程告诉内核需要监视的IO条件，使得内核一旦发现进程指定的一个或多个IO条件就绪，就通过进程处理，从而不会在单个IO上阻塞了，Linux中，提供了select、poll、epoll三种接口来实现IO复用

（二）select：

单个进程能够监视的文件描述符的数量存在最大限制，通常是1024。由于select采用轮询的方式扫描文件描述符，文件描述符数量越多，性能越差；
内核/用户空间内存拷贝，select需要大量的句柄数据结构，产生巨大开销；
select返回的是含有整个句柄的数组，应用程序需要遍历整个数组才能发现哪些句柄发生事件；
select的触发方式为水平触发，应用程序如果没有完成对一个已经就绪的文件描述符进行IO操作，那么下次select调用还会将这些文件描述符通知进程；

（三）poll：
使用链表保存文件描述符，没有了文件描述符的限制，但其他的三个缺点依然存在

（四）epoll：
上面所说的select缺点都不存在，epoll使用了一个文件描述符管理了多个文件描述符。拿select模型为例，假设我们服务器需要支持100万个并发链接，则在_FD_SETSIZE为1024的情况下，则我们至少需要开辟1K个进程才能实现100万的并发连接，除了进程上下文切换的时间消耗，从内核到用户空间的拷贝，数据轮询，是系统难以承受的，因此，基于select模型的服务器程序，要达到10万级别的并发访问，是一个很难完成的任务。

epoll的设计与select完全不同，epoll通过在Linux内核申请一个简易的文件系统（文件一般使用什么数据结构实现？B+树），把原先的select/epoll调用分为3个部分：

调用epoll_create()建立了一个epoll对象（在epoll文件系统中为这个句柄对象分配资源）
调用epoll_ctl()向epoll对象添加这100万个连接的套接字（ip地址+端口号）
调用epoll_wait()收集发生事件的连接

https://blog.csdn.net/weixin_41563161/article/details/104087328

5.Epoll 的 ET 模式和 LT 模式

epoll也是实现I/O多路复用的一种方法。

epoll水平触发（level trigger，LT，LT为epoll的默认工作模式）与边缘触发（edge trigger，ET）两种工作模式。使用脉冲信号来解释LT和ET可能更加贴切。

Level是指信号只需要处于水平，就一直会触发；而edge则是指信号为上升沿或者下降沿时触发。

LT：只要内核缓冲区有数据就一直通知，只要socket处于可读状态或可写状态，就会一直返回sockfd；

ET：只有状态发生变化才通知，只有当socket由不可写到可写或由不可读到可读，才会返回其sockfd；

https://blog.csdn.net/weixin_41563161/article/details/104087917

6.查询进程占用 CPU 的命令

1.查询指定进程的PID

ps -ef | grep zookeeper

2.用top命令指定固定的PID

top -p 10997

3.使用ps查询指定进程名或者PID的占用情况

ps -aux | grep zookeeper
ps -aux | grep 2181

a 显示现行终端机下的所有程序，包括其他用户的程序。
u 以用户为主的格式来显示程序状况。
x 显示所有程序，不以终端机来区分。

4.查看更详细的内存占比

cat /proc/10997/status

7.linux 的其他常见命令（ kill , find , cp 等等）

kill命令用来删除执行中的程序或工作。kill可将指定的信息送至程序

kill 3268

find命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则find命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。

find /home -name “*.txt”

cp命令用来将一个或多个源文件或者目录复制到指定的目的文件或目录。它可以将单个源文件复制成一个指定文件名的具体的文件或一个已经存在的目录下。cp命令还支持同时复制多个文件，当一次复制多个文件时，目标文件参数必须是一个已经存在的目录，否则将出现错误。

cp file /usr/men/tmp/file1

8.shell 脚本用法

https://www.cnblogs.com/henuzyy/p/10347772.html
https://www.jb51.net/article/185260.htm

9.硬连接和软连接的区别

硬链接(hard link)：

A是B的硬链接（A和B都是文件名），则A的目录项中的inode节点号与B的目录项中的inode节点号相同，即一个inode节点对应两个不同的文件名，两个文件名指向同一个文件，A和B对文件系统来说是完全平等的。如果删除了其中一个，对另外一个没有影响。每增加一个文件名，inode节点上的链接数增加一，每删除一个对应的文件名，inode节点上的链接数减一，直到为0，inode节点和对应的数据块被回收。注：文件和文件名是不同的东西，rm A删除的只是A这个文件名，而A对应的数据块（文件）只有在inode节点链接数减少为0的时候才会被系统回收。

软链接(soft link)：

A是B的软链接（A和B都是文件名），A的目录项中的inode节点号与B的目录项中的inode节点号不相同，A和B指向的是两个不同的inode，继而指向两块不同的数据块。但是A的数据块中存放的只是B的路径名（可以根据这个找到B的目录项）。A和B之间是“主从”关系，如果B被删除了，A仍然存在（因为两个是不同的文件），但指向的是一个无效的链接。

主要区别、限制：

硬链接：

a.不能对目录创建硬链接，原因有几种，最重要的是：文件系统不能存在链接环(目录创建时的"…"除外，这个系统可以识别出来), 存在环的后果会导致例如文件遍历等操作的混乱(du，pwd等命令的运作原理就是基于文件硬链接，顺便一提，ls -l结果的第二列也是文件的硬链接数，即inode节点的链接数)

b：不能对不同的文件系统创建硬链接,即两个文件名要在相同的文件系统下。

c：不能对不存在的文件创建硬链接，由原理即可知原因。

软链接：

a.可以对目录创建软链接，遍历操作会忽略目录的软链接。

b:可以跨文件系统

c:可以对不存在的文件创建软链接，因为放的只是一个字符串，至于这个字符串是不是对于一个实际的文件，就是另外一回事了
　
https://www.cnblogs.com/fengdejiyixx/p/10821820.html

10.文件权限怎么看（ rwx )

r：表示的是读，4
w：表示的是写，2，
x：表示的是执行，1
组合：通过4、2、1的组合，得到以下几种权限： 0（没有权限） 4（读取权限） 5（4+1 | 读取+执行） 6（4+2 | 读取+写入） 7（4+2+1 | 读取+写入+执行）

从左至右:

1-3位数字代表文件所有者的权限
4-6位数字代表同组用户的权限
7-9数字代表其他用户的权限
例如chmod 777 a

11.文件的三种时间（ mtime , atime , ctime ) ，分别在什么时候会改变

一个文件也有三种时间，分别是：访问时间atime、修改时间mtime、状态时间ctime，分别为Access time、Modify time、Change time

访问时间：对文件进行一次读操作，它的访问时间就会改变。例如像：cat、more等操作，但是像之前的state还有ls命令对atime是不会有影响的；

修改时间：文件的内容被最后一次修改的时间，我们经常用的ls -l命令显示出来的文件时间就是这个时间，当用vim对文件进行编辑之后保存，它的mtime就会相应的改变；

状态时间：当文件的状态被改变的时候，状态时间就会随之改变，例如当使用chmod、chown等改变文件属性的操作是会改变文件的ctime的。

12 、 linux 监控网络带宽的命令，查看特定进程的占用网络资源情况命令

监控总体带宽使用――nload、bmon、slurm、bwm-ng、cbm、speedometer和netload
监控总体带宽使用（批量式输出）――vnstat、ifstat、dstat和collectl
每个套接字连接的带宽使用――iftop、iptraf、tcptrack、pktstat、netwatch和trafshow
每个进程的带宽使用――nethogs

https://www.cnblogs.com/x_wukong/p/5310116.html