BIO,blocking IO:同步阻塞 , sychronized , block
NIO,new IO:同步非阻塞 ,Non-block I/O
AIO:异步非阻塞 , Asychronized
阻塞/非阻塞
阻塞和非阻塞关注的是程序在等待调用结果(消息,返回值)时的状态。即等待I/O完成的方式
- 阻塞要求用户程序等待,线程被挂起,直到IO完成,调用线程只有在得到结果之后才会返回;
- 而非阻塞程序继续执行,调用不会阻塞当前线程。
同步/异步
同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication),获知IO完成的方式。
- 同步在没有得到结果之前,该调用就不返回,需要check I/O是否完成(轮询);
- 异步无需主动关心结果,当一个异步过程调用发出后,调用者不会立刻得到结果。在IO完成时,被调用者通过状态、通知、或通过回调函数处理来通知调用者。(操作系统:中断)。
Linux网络I/O模型
Linux内核把所有外部设备看做一个文件来操作,对一个文件的读写操作将会调用内核提供的系统命令,返回一个file descriptor( fd,文件描述符)。
UNIX网络编程将I/O模型分类为5种I/O模型:
I/O操作有两个步骤:内核准备数据;数据从内核复制到用户空间;
阻塞I/O模型,进程被阻塞
非阻塞I/O模型,轮询获取
I/O复用模型:Linux提供select/poll/epoll,多个fd传递给select/poll,阻塞在select操作上,顺序扫描fd是否就绪。epoll则有内核通知。***(同步非阻塞模型)***
信号驱动I/O模型
异步I/O模型:与信号驱动I/O模型的区别是,信号驱动I/O模型有内核通知我们何时可以开始一个I/O操作,异步I/O模型通知我们I/O操作已完成。
多路复用Selector,Java NIO的基础
Selector会不断轮询注册在其上的Channel,如果某个Channel上发生读写事件,那么这个Channel就处于就绪状态,会被Selector轮询出来,然后同个SelectionKey可以获取Channel的集合,进行后续的IO操作。
JDK使用epoll()代替传统的select实现。epoll 也就是eventpoll。
epoll - I/O event notification facility
https://blog.51cto.com/joezhengjinhong/1564987
https://zhuanlan.zhihu.com/p/93609693
select
和poll
监听文件描述符list,进行一个线性的查找 O(n)
epoll
: 使用了内核文件级别的回调机制O(1),并减少了用户态和内核态的文件句柄拷贝
epoll_create1
: 创建一个epoll实例,文件描述符
epoll_ctl
: 将监听的文件描述符添加到epoll实例中,实例代码为将标准输入文件描述符添加到epoll中
epoll_wait
: 等待epoll事件从epoll实例中发生, 并返回事件以及对应文件描述符调用epoll_create时,内核除了帮我们在epoll文件系统里建了个file结点,在内核cache里建了个 红黑树 用于存储以后epoll_ctl传来的socket外,还会再建立一个list链表,用于存储准备就绪的事件。
更新就绪List列表,当我们执行epoll_ctl时,除了把socket放到epoll文件系统里file对象对应的红黑树上之外,还会给内核中断处理程序注册一个回调函数,告诉内核,如果这个句柄的中断到了,就把它放到准备就绪list链表里。所以,当一个socket上有数据到了,内核在把网卡上的数据copy到内核中后就把socket插入到准备就绪链表里了。
epoll高效的本质在于:减少了用户态和内核态的文件句柄拷贝;减少了对可读可写文件句柄的遍历;mmap 加速了内核与用户空间的信息传递,epoll是通过内核与用户mmap同一块内存,避免了无谓的内存拷贝;IO性能不会随着监听的文件描述的数量增长而下降;使用红黑树存储fd,以及对应的回调函数,其插入,查找,删除的性能不错,相比于hash,不必预先分配很多的空间。
JAVA Selector SocketChannel 同步非阻塞 epoll
将SocketChannel注册到Selector中,Selector通过轮询的方式处理活跃的Channel
http://www.yiyehu.tech/archives/2019/03/23/java-selectionkey
http://www.yiyehu.tech/archives/2019/03/22/java-nio-buffer
查看 flip 方法在Selector中注册Channel的方法:下面两个方法分别是Selector和Channel中的register方法,最终目的都是在Selector中生成SelectionKey,放在Set keys中。
<pre class="EnlighterJSRAW" data-enlighter-group="" data-enlighter-highlight="" data-enlighter-language="java" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-theme="" data-enlighter-title="">//SelectorImpl.java ,具体实现在Impl方法中
protected final SelectionKey register(AbstractSelectableChannel ch, int ops, Object attachment)
//AbstractSelectableChannel.java
ublic final SelectionKey register(Selector sel, int ops, Object att)
//当然Channel的register方法其实也是调用selector的方法,只不过多了在selector中查找是否已存在key的步骤。
执行interestOps
操作,selector.setEventOps(this);
执行setEventOps
,updateKeys.addLast(ski);
将SelectionKey放到updataKeys中。
updataKeys 在processUpdateQueue()
方法中被处理。
AllocatedNativeObject pollArray; // The fd array
processUpdateQueue()最终会执行pollArray.putShort(SIZE_POLLFD * i + EVENT_OFFSET, (short)event); 设置key的事件。
processUpdateQueue()
在doSelect()方法中;doSelect()方法在select() 方法中被执行;
这也是为什么在线程run方法中的循环中每次都要执行selector.select(int)的原因。