前面的代码在服务器端都是单线程配合一个 Selector 选择器来管理多个 channel 上的事件
这样有两个缺点
- 现在都是多核CPU，一个线程只能用一个核心，其他的核心会白白浪费
- 单线程是可以处理多个事件，但是如果某个事件耗时较长，就会造成其他事件的等待
如果让你设计一种较为合理的架构，你会怎样设计呢？
首先一点要把多核CPU 充分利用起来，第二就是每个线程对应自己的职责，例如，店小二负责接待，厨师负责炒菜，服务员负责记录菜单
代码实现
服务器
package com.zhao.c1;
import com.zhao.io.ByteBufferUtil;
import lombok.extern.slf4j.Slf4j;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.*;
import java.util.Iterator;
/**
* @Auther: HackerZhao
* @Date: 2021/11/2 12:05
* @Description: 多线程管理多个 channel
*/
@Slf4j
public class MultiThreadServer {
public static void main(String[] args) throws IOException {
// 设置main 名称为 Boss
Thread.currentThread().setName("boss");
ServerSocketChannel ssc = ServerSocketChannel.open();
ssc.configureBlocking(false);
Selector boss = Selector.open();
SelectionKey bossKey = ssc.register(boss, 0, null);
bossKey.interestOps(SelectionKey.OP_ACCEPT);
ssc.bind(new InetSocketAddress(8080));
// 1. 创建固定数量的 work 并初始化
Work work = new Work("work0");
work.register();
while (true) {
// 判断是否有事件发生，如果四种事件其中一种发生了，会向下运行。没有发生，则阻塞
boss.select();
Iterator<SelectionKey> iter = boss.selectedKeys().iterator();
while (iter.hasNext()) {
SelectionKey key = iter.next();
iter.remove();
if (key.isAcceptable()) {
// accept 建立与客户端连接，SocketChannel 用来与客户端之间通信（菜单）
SocketChannel sc = ssc.accept();
sc.configureBlocking(false);
log.debug("connected...{}",sc.getRemoteAddress());
// 如果 work 创建在连接里边，那么每创建一个连接就会创建一个work，太浪费资源了（work应该是独立的，它只负责自己的读写事件）
// 2. 关联 selector，此时就不能关联 boss 这个 selector 了，应当关联对象 work 中的 selector
log.debug("before register...{}",sc.getRemoteAddress());
sc.register(work.selector,SelectionKey.OP_READ,null);
log.debug("after register...{}",sc.getRemoteAddress());
}
}
}
}
static class Work implements Runnable {
private Thread thread; // 独立的线程
private Selector selector; // 独立的监听器
private String name; // work 的名字
private volatile boolean start; // 刚开始线程还未初始化
public Work(String name) {
this.name = name;
}
// 初始化 Thread 和 Selector
public void register() throws IOException {
if (!start) {
thread = new Thread(this, name); // 创建一个新线程，就是当前类
thread.start();
selector = Selector.open();
start = true;
}
}
@Override
public void run() {
while (true){
try {
selector.select();
Iterator<SelectionKey> iter = selector.selectedKeys().iterator();
while (iter.hasNext()){
SelectionKey key = iter.next();
iter.remove();
if (key.isReadable()){
ByteBuffer buffer = ByteBuffer.allocate(16);
SocketChannel channel = (SocketChannel) key.channel();
// 读取到了 channel 中的数据
log.debug("read...{}",channel.getRemoteAddress());
channel.read(buffer);
// 切换至读模式
buffer.flip();
ByteBufferUtil.debugAll(buffer);
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
客户端
package com.zhao.c1;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.net.SocketAddress;
import java.nio.channels.SocketChannel;
import java.nio.charset.Charset;
/**
* @Auther: HackerZhao
* @Date: 2021/11/2 13:17
* @Description: 客户端
*/
public class TestClient {
public static void main(String[] args) throws IOException {
SocketChannel sc = SocketChannel.open();
sc.connect(new InetSocketAddress("localhost",8080));
sc.write(Charset.defaultCharset().encode("1234567890abcdef"));
System.in.read();
}
}
一切看似风平浪静，但是客户端已经向服务器发送了数据，服务器却没有打印，只显示了连接
原因是线程的先后顺序不一致导致的
注册事件
阻塞事件
如果先发生注册事件，再发生阻塞事件，客户端此时发送消息过来，run 方法中是不会再发生阻塞，会把这个事件处理完毕。
如果先发生阻塞事件，再发生注册事件，客户端此时发送消息过来，你的 read 事件还没注册到 Selector 上面，selector.select()会认为你现在没有事件要处理，会一直阻塞。
这个解决起来稍微有一点复杂，因为你想让注册事件发生在阻塞事件前面，阻塞事件是在另一个线程里边，所以得想办法把注册事件也放在这个线程里边，并且先于阻塞事件发生。
这可以通过一个队列来解决，先把我要做的事情存放到一个消息队列里边，执行另一个线程的 run 方法之前，先执行我消息队列的事件，这样一来就解决了 阻塞事件阻塞注册事件的问题。
package com.zhao.c1;
import com.zhao.io.ByteBufferUtil;
import lombok.extern.slf4j.Slf4j;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.*;
import java.util.Iterator;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedDeque;
import java.util.concurrent.ConcurrentLinkedQueue;
/**
* @Auther: HackerZhao
* @Date: 2021/11/2 12:05
* @Description: 多线程管理多个 channel
*/
@Slf4j
public class MultiThreadServer {
public static void main(String[] args) throws IOException {
// 设置main 名称为 Boss
Thread.currentThread().setName("boss");
ServerSocketChannel ssc = ServerSocketChannel.open();
ssc.configureBlocking(false);
Selector boss = Selector.open();
SelectionKey bossKey = ssc.register(boss, 0, null);
bossKey.interestOps(SelectionKey.OP_ACCEPT);
ssc.bind(new InetSocketAddress(8080));
// 1. 创建固定数量的 work 并初始化
Work work = new Work("work0");
while (true) {
// 判断是否有事件发生，如果四种事件其中一种发生了，会向下运行。没有发生，则阻塞
boss.select();
Iterator<SelectionKey> iter = boss.selectedKeys().iterator();
while (iter.hasNext()) {
SelectionKey key = iter.next();
iter.remove();
if (key.isAcceptable()) {
// accept 建立与客户端连接，SocketChannel 用来与客户端之间通信（菜单）
SocketChannel sc = ssc.accept();
sc.configureBlocking(false);
log.debug("connected...{}", sc.getRemoteAddress());
// 如果 work 创建在连接里边，那么每创建一个连接就会创建一个work，太浪费资源了（work应该是独立的，它只负责自己的读写事件）
// 2. 关联 selector，此时就不能关联 boss 这个 selector 了，应当关联对象 work 中的 selector
log.debug("before register...{}", sc.getRemoteAddress());
work.register(sc);
log.debug("after register...{}", sc.getRemoteAddress());
}
}
}
}
static class Work implements Runnable {
private Thread thread; // 独立的线程
private Selector selector; // 独立的监听器
private String name; // work 的名字
private volatile boolean start; // 刚开始线程还未初始化
private ConcurrentLinkedQueue<Runnable> queue = new ConcurrentLinkedQueue<>(); // 两个线程通道
public Work(String name) {
this.name = name;
}
// 初始化 Thread 和 Selector
public void register(SocketChannel sc) throws IOException {
if (!start) {
thread = new Thread(this, name); // 创建一个新线程，就是当前类
thread.start();
selector = Selector.open();
start = true;
}
queue.add(() -> {
try {
sc.register(selector, SelectionKey.OP_READ, null);
} catch (ClosedChannelException e) {
e.printStackTrace();
}
});
selector.wakeup(); // 通知阻塞放行
}
@Override
public void run() {
while (true) {
try {
selector.select(); // work0，阻塞，使用 wakeup 唤醒
Runnable task = queue.poll();
if (task != null) {
task.run(); // 执行了 sc.register(selector, SelectionKey.OP_READ, null);
}
Iterator<SelectionKey> iter = selector.selectedKeys().iterator();
while (iter.hasNext()) {
SelectionKey key = iter.next();
iter.remove();
if (key.isReadable()) {
ByteBuffer buffer = ByteBuffer.allocate(16);
SocketChannel channel = (SocketChannel) key.channel();
// 读取到了 channel 中的数据
log.debug("read...{}", channel.getRemoteAddress());
channel.read(buffer);
// 切换至读模式
buffer.flip();
ByteBufferUtil.debugAll(buffer);
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
设置多个 Worker，Worker 的个数根据 Cpu 的核数定的，可以用轮询做到
具体实现
创建一个 Workers 数组，容量为 CPU 的核数
创建一个原子 Integer 类
获得workers 数组中的 其中一个元素 = index.getAndIncrement() % works.length
package com.zhao.c1;
import com.zhao.io.ByteBufferUtil;
import lombok.extern.slf4j.Slf4j;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.*;
import java.util.Iterator;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedDeque;
import java.util.concurrent.ConcurrentLinkedQueue;
import java.util.concurrent.atomic.AtomicInteger;
/**
* @Auther: HackerZhao
* @Date: 2021/11/2 12:05
* @Description: 多线程管理多个 channel
*/
@Slf4j
public class MultiThreadServer {
public static void main(String[] args) throws IOException {
// 设置main 名称为 Boss
Thread.currentThread().setName("boss");
ServerSocketChannel ssc = ServerSocketChannel.open();
ssc.configureBlocking(false);
Selector boss = Selector.open();
SelectionKey bossKey = ssc.register(boss, 0, null);
bossKey.interestOps(SelectionKey.OP_ACCEPT);
ssc.bind(new InetSocketAddress(8080));
Work[] works = new Work[Runtime.getRuntime().availableProcessors()];
for (int i = 0; i < works.length; i++) {
works[i] = new Work("worker- "+i);
}
AtomicInteger index = new AtomicInteger();
// 1. 创建固定数量的 work 并初始化
while (true) {
// 判断是否有事件发生，如果四种事件其中一种发生了，会向下运行。没有发生，则阻塞
boss.select();
Iterator<SelectionKey> iter = boss.selectedKeys().iterator();
while (iter.hasNext()) {
SelectionKey key = iter.next();
iter.remove();
if (key.isAcceptable()) {
// accept 建立与客户端连接，SocketChannel 用来与客户端之间通信（菜单）
SocketChannel sc = ssc.accept();
sc.configureBlocking(false);
log.debug("connected...{}", sc.getRemoteAddress());
// 如果 work 创建在连接里边，那么每创建一个连接就会创建一个work，太浪费资源了（work应该是独立的，它只负责自己的读写事件）
// 2. 关联 selector，此时就不能关联 boss 这个 selector 了，应当关联对象 work 中的 selector
log.debug("before register...{}", sc.getRemoteAddress());
// round robin 轮询
works[index.getAndIncrement() % works.length].register(sc);
log.debug("after register...{}", sc.getRemoteAddress());
}
}
}
}
static class Work implements Runnable {
private Thread thread; // 独立的线程
private Selector selector; // 独立的监听器
private String name; // work 的名字
private volatile boolean start; // 刚开始线程还未初始化
private ConcurrentLinkedQueue<Runnable> queue = new ConcurrentLinkedQueue<>(); // 两个线程通道
public Work(String name) {
this.name = name;
}
// 初始化 Thread 和 Selector
public void register(SocketChannel sc) throws IOException {
if (!start) {
thread = new Thread(this, name); // 创建一个新线程，就是当前类
thread.start();
selector = Selector.open();
start = true;
}
queue.add(() -> {
try {
sc.register(selector, SelectionKey.OP_READ, null);
} catch (ClosedChannelException e) {
e.printStackTrace();
}
});
selector.wakeup(); // 通知阻塞放行
}
@Override
public void run() {
while (true) {
try {
selector.select(); // work0，阻塞，使用 wakeup 唤醒
Runnable task = queue.poll();
if (task != null) {
task.run(); // 执行了 sc.register(selector, SelectionKey.OP_READ, null);
}
Iterator<SelectionKey> iter = selector.selectedKeys().iterator();
while (iter.hasNext()) {
SelectionKey key = iter.next();
iter.remove();
if (key.isReadable()) {
ByteBuffer buffer = ByteBuffer.allocate(16);
SocketChannel channel = (SocketChannel) key.channel();
// 读取到了 channel 中的数据
log.debug("read...{}", channel.getRemoteAddress());
channel.read(buffer);
// 切换至读模式
buffer.flip();
ByteBufferUtil.debugAll(buffer);
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
NIO vs BIO
stream vs channel
-
stream 不会自动缓冲数据，channel 会利用系统提供的发送缓冲区、接收缓冲区（更为底层）
-
stream 仅支持阻塞 API，channel 同时支持阻塞、非阻塞 API，网络 channel 可配合 selector 实现多路复用
-
二者均为全双工，即读写可以同时进行
IO 模型
同步阻塞、同步非阻塞、同步多路复用、异步阻塞（没有此情况）、异步非阻塞
当一个应用程序调用了 read 方法引发的事件
阻塞IO
一旦等待数据处发生阻塞，这个线程就什么也做不了了，只能老老实实的等待数据。不光用户态要等，内核态也要等。就像是一个单道环，没有回头路。
张三去买一包 程序员安慰剂，到了药店，药店老板说要等一阵子才有货，等一天或者等一年，张三都在等，一直等到货来了，买到了，才回去。
非阻塞IO
一旦用户态发现内核态没有数据，就会立刻返回。下一次 where(true) 循环的时候，再去查看有无数据，一旦有数据了，就不会立刻返回。而是复制数据并返回。
张三去买一包 程序员安慰剂，到了药店，药店老板说要等一阵子才有货，张三一听转身就走，第二次，张三又去了，老板说有货，张三就买到货并返回。张三买货的期间是不能做其他事情的
多路复用
用户态调用 select 方法，查看内核是否有事件，没有事件则阻塞，有事件内核会通知用户态有新事件发生。用户线程就会调用 read 方法进行读取，需要复制数据，就会发生阻塞
张三去买一包 程序员安慰剂，但是他不清楚药店有没有货，就打电话给药店老板，老板说现在没有，等有了我告诉你。过了一两天，有货了，老板打电话给张三，让他来拿货。于是张三过去买了一包又回来了。
与阻塞IO不同的是，多路复用每次获取的是一批事件。
例如：张三需要吃饭，吃完饭后还要写代码，写完代码后又要去吃饭。这之中发生了等待时间就只能在这里等待了。例如，去吃饭饭店没菜了，厨子去买菜，饭什么时候可以做好，谁也说不清楚。写代码，停电了，什么时候来电，谁也不知道。再次期间就只能干等。多路复用则不同，没菜了？我不去，等你有菜了，来电了我再做事情，例如，饭店打电话说现在没菜了，那张三就会呆在家，哪里也不去，公司打电话说断电了，张三也哪里都不会去。直到饭店说买到菜了，公司说来电了，张三才会起身去吃饭，去公司上班。他获取的是一批事件，不会陷入某一个事件中等待。
通过上面的案例，可以得出一个结论，就是当用户线程去处理请求，说明此时已经有一个或多个请求要处理了，等待的时间已经在 select 处等待过了，一次性的处理多个事件。
同步：线程自己去获取结果（一个线程）
异步：线程自己不去获取结果，而是由其它线程送结果（至少两个线程）
阻塞IO ：自己调用read 方法，自己接收请求。同步阻塞
阻塞IO ：自己调用read 方法，自己接收请求。同步非阻塞
多路复用：自己调用read 方法，自己接收请求。同步
异步非阻塞：当前线程调用完 Thread1 后会向下继续运行，不会阻塞
张三想买一包 程序员安慰剂，但自己又很忙，于是他叫来自己的小弟李四去买，张三去上班了，李四买完药后，回到家，拿给张三。
package com.zhao.c1;
import com.zhao.io.ByteBufferUtil;
import lombok.extern.slf4j.Slf4j;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.AsynchronousFileChannel;
import java.nio.channels.CompletionHandler;
import java.nio.charset.StandardCharsets;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;
import java.util.concurrent.TimeUnit;
/**
* @Auther: HackerZhao
* @Date: 2021/11/3 15:01
* @Description: 异步io
*/
@Slf4j
public class AioFileChannel {
public static void main(String[] args) throws IOException {
try (AsynchronousFileChannel channel = AsynchronousFileChannel.open(Paths.get("data.txt"), StandardOpenOption.READ)) {
// 参数1：ByteBuffer
// 参数2：读取的起始位置
// 参数3：附件
// 参数4：回调对象
ByteBuffer buffer = ByteBuffer.allocate(16);
log.debug("read begin");
channel.read(buffer, 0, buffer, new CompletionHandler<Integer, ByteBuffer>() {
// read 成功调用此方法
/**
* 参数1： 实际读取的字节数
* 参数2： buffer 对象
*/
@Override
public void completed(Integer result, ByteBuffer attachment) {
log.debug("read completed");
attachment.flip();
ByteBufferUtil.debugAll(attachment);
}
// read 失败调用此方法
@Override
public void failed(Throwable exc, ByteBuffer attachment) {
exc.printStackTrace();
}
});
log.debug("read end");
} catch (IOException e) {
e.printStackTrace();
}
System.in.read();
}
}
主线程打印完 read begin 和 read end 后，Thread 1 才开始运行.
零拷贝
package com.zhao.c1;
import java.io.File;
import java.io.IOException;
import java.io.OutputStream;
import java.io.RandomAccessFile;
import java.net.Socket;
public class ClientDemo {
public static void main(String[] args) throws IOException {
//创建客户端的Socket对象(Socket)
//Socket(String host, int port) 创建流套接字并将其连接到指定主机上的指定端口号
Socket socket = new Socket("192.168.1.66",10000);
File f = new File("data.txt");
RandomAccessFile file = new RandomAccessFile(f,"r");
byte[] buf = new byte[(int)f.length()];
file.read(buf);
//获取输出流，写数据
socket.getOutputStream().write(buf);
//释放资源
socket.close();
}
}以上程序用户态和内核态之间的转换如下图
程序调用read 方法后，会有用户态转换成内核态。方法调用结束会有内核态转换为用户态，返回结果。会发生 1，2步骤的内容
程序调用 write 方法，会有用户态转换为内核态，会发生 3，4步骤的内容
程序运行，会发生3次 用户态与内核态的转换，4次 数据复制
二次优化
在 Netty基础 NIO中有介绍过使用 ByteBuffer.allocateDirect(16)，创建的 buffer 使用的是直接内存，会减少一次拷贝。
buffer使用的是操作系统中的内存，当磁盘想缓冲区写入时，byte 数组和内核缓冲区用的是同一块内存。减少了一次拷贝
三次优化
无论是使用原始读取还是使用直接内存的 ByteBuffer，都绕不开java程序，linux 2.1 后提供的 sendFile 方法 ，java 中对应着两个 channel 调用 transferTo/transferFrom 方法拷贝数据
- java 调用 transferTo 方法后，要从 java 程序的用户态切换至内核态，使用 DMA将数据读入内核缓冲区，不会使用 cpu
- 数据从内核缓冲区传输到 socket 缓冲区，cpu 会参与拷贝
- 最后使用 DMA 将 socket 缓冲区的数据写入网卡，不会使用 cpu
现在只需要 一次用户态到内核态的切换，是在 transferTo 方法发生后，3次 数据复制
四次优化
linux 2.4
- java 调用 transferTo 方法后，要从 java 程序的用户态切换至内核态，使用 DMA将数据读入内核缓冲区，不会使用 cpu
- 只会将一些 offset 和 length 信息拷入 socket 缓冲区，几乎无消耗
- 使用 DMA 将 内核缓冲区的数据写入网卡，不会使用 cpu
零拷贝，不需要在java 层面发生拷贝，拷贝只发生在网络与操作系统之间
优点和适用场景
-
更少的用户态与内核态的切换
-
不利用 cpu 计算，减少 cpu 缓存伪共享
-
零拷贝适合小文件传输
1430
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
