netty笔记

linux五种网络IO模型

1、阻塞io比如read，accept

2、非阻塞io

3、io复用select、poll、epoll等

4、信号驱动io（当读写准备好时，内核会发送SIGIO信号）通过sigaction注册SIGIO信号进行异步处理。

5、异步io由内核异步操作执行完之后再通知进程。

 

io复用的优点

1、与多线程的BIO模型相比 可以用单线程处理，系统开销小，而且不需要线程直接的切换。

2、BIO模型的缺点：多线程处理，消耗资源，线程切换影响效率，而且多线程一多可能会使得资源消耗殆尽。

 

select和epoll的对比

1、epoll对FD的个数没有限制对于大并发的服务请求，epoll明显占优。

2、select随着FD个数的增加性能会线性下降，主要是select模型对触发的事件需要线性遍历整个事件数组，而epoll则是采用回调的机制，将监听的事件直接写回到已发生数组

3、select对FD的事件消息需要从内核态复制到用户态，而epoll则是直接采用mmap，二者共享，不需要复制操作，效率更高

4、java NIO模型selector就是基于epoll实现的。

 

BIO的两种实现

1、采用多线程主线程serversocket进行监听，对每个新连接socket调用一个新线程处理。

2、采用线程池处理，将每个新连接当做一个task，线程池处理。由于线程池对线程的数量有限制，可以防止系统资源被消耗殆尽，另外还可以减少线程的频繁创建和关闭，更高效。

 

同步io和异步io的对比

同步阻塞io的阻塞时间决定于对方io处理速度，和网络io传输速度，可靠性比较差，NIO是同步非阻塞的，而AIO则是异步非阻塞的。其中NIO的channel读取数据时是先放到缓存区，这样做是为了减少频繁通知selector，提高性能。

nio1.0是采用的同步阻塞io，selector会阻塞等待监听事件的触发（读写由线程等待操作系统完成），而nio2.0则是采用异步（AIO）非阻塞回调的方式（操作系统完成io然后通知给应用线程)。

 

tcp的粘包和拆包

客户端发送两个包，服务端同时分两次读取这两个数据包则不存在粘包和拆包问题，如果服务端一次性读取该两个包则存在粘包，若一次只读取了一个包的一部分则存在拆包

产生的原因：write一个包的数据比缓冲区还大，出现拆包，以及ip分片（MTU）

解决方案：

1、按照双方的协议根据指定长度进行写入读出（全部是消息，每次都读取协议指定大小的数据）

2、按照换行符作为分隔符等

3、按消息头和消息体（消息头长度固定，协议固定，指定消息体长度大小）如消息头可以选择字节、short、3个字节、4个字节int、8个字节long来存储消息体大大小，netty接到消息时根据协议，消息头可以选择字节、short、3个字节、4个字节int、8个字节long来存储消息体大大小，netty接到消息时根据协议，指定消息头是从哪个位置开始的，消息头长度为多少，消息最大长度为多少。进行解码。如果没有等到固定长度的消息，会一直等待。

netty如果没有考虑拆粘包则会存在解码错位。

 

java序列号的目的

1、对象持久化到文件，2、网络传输、3protocol协议可伸缩性，所以序列化比Java序列号所需要的字节少，传输效率高

java的jdk序列号集成serializable接口生成序列号的缺点：1、只支持java不支持其他语言，不能跨语言使用2、序列化后所占的字节比较大，网络传输占带宽大。吞吐量低。性能低。

 

netty的原理

netty是基于事件驱动的，由channel进行io操作时会产生io事件，然后事件在channelpipe中传播，由对应的channelhander进行拦截处理，其中channel中存在一个unsafe类，和eventloop，通过unsafe进行注册，unsafe调用ByteBuf进行读写等等。netty为了解决读半包问题解码时可以采用分行、分隔符、固定长度等方式进行解码，同时解码器也是一个channelhander。eventloopgroup其实就是一个eventloop线程池。eventLoop可以看做是一个线程可以用于监听、连接、io读写、定时任务、普通任务等等。netty框架有两个线程池（acceptorpool和iopool）加一个acceptor线程，acceptor线程主要是连接客户端请求创建socketchanel然后从acceptorpoll中选择一个线程将连接dispatch到acceptorpoll，然后接入验证，然后从主线程池中摘除channelsocket，从io线程池中选择一个线程注册socketchannel等操作。所以一个io线程可能对应多个客户端，而一个客户端只能对应一个io线程。

netty的串行化思想：消息的读写编码解码以及hander处理都在一个线程中进行，不存在线程上下文的切换，同样也不会存在线程安全问题，因为channel不共享等于每个channel都是一个threadlocal变量。