网路结构

内核和应用程序交互

应用程序是建立在linux基础上得，传输层tcp/udp; 端口是由内核分配给应用程序，应用程序通过端口，以来内核网路服务（队列，socket）对外通信；

三次握手

目的是双方都要给对象进行ack (确认) 才可以保证稳定得通信

四次分手

分层设计

网络抓包 观察单次连接得详细内容

tcpdump -nn(数字得形式展示ip) -i eth0 (对应得网卡) port 80 监听对应端口得数据

线程追踪

-ff -o 指定日志输出地址为~/xoxoxoxo/目录下，以redis开头的日志文件 ./redis-server:启动redis得程序

socket的申请和使用

业务处理和网络连接事件职责单一

观察机器整体连接情况

下图可以看到进程1805得网络连接情况

查看程序运行时进程状态

linux所有的进程都是通过文件进行管理的，查看对应得文件内容；
1、 观察线程执行细节 strace -ff
2、 切换到对应得进程目录 /proc/${PID}
查看对应fd(file desc)下的文件，描述的是io的连接；每个客户端连接都会在这个文件夹下生成一个socket的文件

   task 文件夹，每个task表示一个线程

nio

为了解决c10k（即10000个客户端的连接）的问题，因为accept listen read write等方法，是阻塞性方法，必须等到对应的事件准备就绪,本线程处于夯住状态；
在系统底层将客户端socket的fd设置为non-block， 线程读到数据就进行处理，未读到则不处理； 由此，nio在操作系统中叫做non-block io;

在java中nio,为new io标识新的io体系；

缺点：
性能问题，如果每次for循环有10k个链接fd, 即每个fd都需要发生内核调用（system call）,recvfrom等操作（10K次），系统消耗是比较高的,浪费；时间复杂度o(n)

多路复用

为减少不必要的系统调用，只处理状态ready的socket fd；对状态ready的socket发生系统调用；

多个socket公用一个功能；
多路复用器select (内核主动轮循所有的fd)

入参：nfds：连接入服务器的所有fds;
readfds：从操作系统内核拿出可读的socket的fds;
writefds: 从操作系统内核拿出可读的socket的fds;

我们的程序调内核的多路复用器select, 我的的程序将所有的socket的fds传递给内核kernel,
内核遍历所有的fd状态，将accept / read ready/ write ready 的fd返回给我们的程序进行对应的处理；进行recvfrom等内核调用，这样减少无意义的recvfrom调用(状态不ok的fd)；

缺点：
每次都降所有fd传递给内核(重复传递、消耗)
内核遍历所有的fd

epoll

基于事件驱动的多路复用；

事件的发生源是内核最新感知到的；感知cpu, 网络连接状态变化；

内核内部开辟空间，存储所有的socket的fd; 我们的应用程序调用内核提供epoll_create 的系统调用完成这个功能；

epoll_create 构建出内核区域，文件描述符是5；

我们程序调用内核提供epoll_ctl将客户端连接的socket的fd放入到开辟的空间中；注册监听fd的指定事件发生；当指定事件发生的时候，fd在内核中会自己调用对应callback方法，将事件ready的fd放入集合；

生成socket的文件描述符7，将7放入epoll开辟的内存描述符5中； 设置socket的描述符 7 NONBLOCK;

我们应用程序调用内核提供epollwait 获取事件的fd集合，然后我们的程序自己去做读写逻辑；

epoll_wait 等待连接；接收到描述符为8的连接

epoll的优点：

• 1.支持一个进程打开大数目的socket描述符(FD)
  select 最不能忍受的是一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显 然太少了。这时候你一是可以选择修改这个宏然后重新编译内核，不过资料也同时指出这样会带来网络效率的下降，二是可以选择多进程的解决方案(传统的 Apache方案)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也不是一种完 美的方案。不过 epoll则没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左 右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。

• 2.IO效率不随FD数目增加而线性下降
  传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是"活跃"的， 但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。但是epoll不存在这个问题，它只会对"活跃"的socket进行 操作—这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有"活跃"的socket才会主动的去调用 callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个"伪"AIO，因为这时候推动力在os内核。在一些 benchmark中，如果所有的socket基本上都是活跃的—比如一个高速LAN环境，epoll并不比select/poll有什么效率，相 反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。

• 3.使用mmap加速内核与用户空间的消息传递。
  这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝就 很重要，在这点上，epoll是通过内核于用户空间mmap同一块内存实现的。而如果你想我一样从2.5内核就关注epoll的话，一定不会忘记手工 mmap这一步的。

• 4.内核微调
  这一点其实不算epoll的优点了，而是整个linux平台的优点。也许你可以怀疑linux平台，但是你无法回避linux平台赋予你微调内核的能力。 比如，内核TCP/IP协议栈使用内存池管理sk_buff结构，那么可以在运行时期动态调整这个内存pool(skb_head_pool)的大小 — 通过echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函数的第2个参数(TCP完成3次握手 的数据包队列长度)，也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网 卡驱动架构。