python2处理耗时任务_你懂Netty的任务队列及它的异步模型原理吗

任务队列中的Task有3种典型使用场景，下面一一举例说明

1、用户程序自定义的普通任务；

/** * 1、我们自定义一个Handler，需要继承netty规定好的某个handlerAdapter(规范) * 2、这时我们自定义一个Handler，才能称为一个Handler */public class NettyServerHandler extends ChannelInboundHandlerAdapter {    /**     * 读取数据(这里我们可以读取客户端发送的消息)     * @param ctx 上下文对象，含有管道pipeline，通道channel,地址     * @param msg 就是客户端发送的数据，默认是Object     */    @Override    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {        //比如这里我们有一个非常耗时长的业务->异步执行->提交该channel对应的NIOEventLoop的taskQueue中        //解决方案1 用户程序自定义的普通任务        ctx.channel().eventLoop().execute(()->{            try {                Thread.sleep(10*1000);                ctx.writeAndFlush(Unpooled.copiedBuffer("hello,客户端,我是耗时的任务1",CharsetUtil.UTF_8));            } catch (InterruptedException e) {                e.printStackTrace();            }        });        //这里我又加入了一个任务到taskQueue队列中，这样子队列中就有2个耗时的任务，而这个任务耗时20s，因为前一个任务耗时10s，所以要30s才执行完毕        ctx.channel().eventLoop().execute(()->{            try {                Thread.sleep(20*1000);                ctx.writeAndFlush(Unpooled.copiedBuffer("hello,客户端,我是耗时的任务2",CharsetUtil.UTF_8));            } catch (InterruptedException e) {                e.printStackTrace();            }        });        System.out.println("go on ......");    }    /**     * 数据读取完毕     * @param ctx     */    @Override    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {        /**         * writeAndFlush 是write+flush         * 将数据写入到缓冲区，并刷新，一般讲，我们对这个发送的数据进行编码         */        ctx.writeAndFlush(Unpooled.copiedBuffer("hello,客户端",CharsetUtil.UTF_8));    }    /**     * 处理异常，一般需要关闭通道     */    @Override    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {        ctx.close();    }}

2、用户自定义定时任务；

/** * 1、我们自定义一个Handler，需要继承netty规定好的某个handlerAdapter(规范) * 2、这时我们自定义一个Handler，才能称为一个Handler */public class NettyServerHandler extends ChannelInboundHandlerAdapter {    /**     * 读取数据(这里我们可以读取客户端发送的消息)     * @param ctx 上下文对象，含有管道pipeline，通道channel,地址     * @param msg 就是客户端发送的数据，默认是Object     */    @Override    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {        //用户自定义定时任务->该任务提交到scheduleTaskQueue中        ctx.channel().eventLoop().schedule(()->{            try {                Thread.sleep(20*1000);                ctx.writeAndFlush(Unpooled.copiedBuffer("hello,客户端,我是耗时的任务3,定时任务执行5s后执行",CharsetUtil.UTF_8));            } catch (InterruptedException e) {                e.printStackTrace();            }        },5, TimeUnit.SECONDS);        System.out.println("go on ......");        /**        System.out.println("server ctx = "+ctx);        //将msg转成一个ByteBuf        //ByteBuf 是Netty提供的，不是NIO的ByteBuffer        ByteBuf buf = (ByteBuf)msg;        System.out.println("客户端发送的消息是："+buf.toString(CharsetUtil.UTF_8));        System.out.println("客户端地址："+ctx.channel().remoteAddress());         **/    }    /**     * 数据读取完毕     * @param ctx     */    @Override    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {        /**         * writeAndFlush 是write+flush         * 将数据写入到缓冲区，并刷新，一般讲，我们对这个发送的数据进行编码         */        ctx.writeAndFlush(Unpooled.copiedBuffer("hello,客户端",CharsetUtil.UTF_8));    }    /**     * 处理异常，一般需要关闭通道     */    @Override    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {        ctx.close();    }}

3、非当前Reactor线程调用Channel的各种方法

例如在推送系统的业务线程里面，根据用户的标识，找到对应的Channel引用，然后调用write类方法向该用户推送消息，就会进入到这种场景。最终的write会提交到任务队列中后被异步消费；

方案再说明

1、Netty抽象出两组线程池，BossGroup专门负责接收客户端连接，WorkerGroup专门负责网络读写操作；

2、NioEventLoop表示一个不断循环执行处理任务的线程，每个NioEventLoop都有一个selector,用于监听绑定在其上的socket网络通道。

3、NioEventLoop内部采用串行化设计，从消息的读取->解码->处理->编码->发送，始终由IO线程NioEventLoop负责

① NioEventLoopGroup下包含多个NioEventLoop;

② 每个NioEventLoop中包含一个Selector，一个taskQueue;

③ 每个NioEventLoop的Selector上可以注册监听多个NioChannel;

④ 每个NioChannel只会绑定在唯一的NioEventLoop上；

⑤ 每个NioChannel都绑定有一个自己的ChannelPipeline;

Netty的异步模型

1、异步的概念和同步相对。当一个异步过程调用发出后，调用者不能立刻得到结果。实际处理这个调用的组件在完成后，通过状态、通知和回调来通知调用者。

2、Netty中的I/O操作是异步的，包括Bind、write、connect等操作会简单的返回一个ChannelFuture.

3、调用者并不能立刻获得结果，而是通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

4、Netty的异步模型是建立在future和callback的之上的，callback就是回调。重点说Future，它的核心思想是：假设一个方法fun，计算过程可能非常耗时，等待fun返回显然不合适。那么可以在调用fun的时候，立马返回一个Future，后续可以通过Future去监控方法fun的处理过程(即：Future-Listener机制)

Future说明

1、表示异步的执行结果，可以通过它提供的方法来检测执行是否完成，比如检索计算等等。

2、ChannelFuture是一个接口：public interface ChannelFuture extends Future我们可以添加监听器，当监听的事件发生时，就会通知到监听器。

工作原理图

Netty异步原理图

1、在使用Netty进行编程时，拦截操作和转换出入站数据只需要你提供callback或利用future即可。这使得链式操作简单、高效、并有利于编写可重用的、通用的代码。

2、Netty框架的目标就是让你的业务逻辑从网络基础应用编码中分离出来、解脱出来。

Future-Listener机制

1、当Future对象刚刚创建时，处于非完成状态，调用者可以通过返回的ChannelFuture来获取操作执行的状态，注册监听函数来执行完成后的操作。

2、常见有如下操作

① 通过isDone方法来判断当前操作是否完成；

② 通过isSuccess方法来判断已完成的当前操作是否成功；

③ 通过getCause方法来获取已完成的当前操作失败的原因；

④ 通过isCancelled方法来判断已完成的当前操作是否被取消；

⑤ 通过addListener方法来注册监听器，当操作已完成(isDone方法返回完成)，将会通知指定的监听器；如果Future对象已完成，则通知指定的监听器；

3、举例说明

演示：绑定端口是异步操作，当绑定操作处理完，将会调用相应的监听器处理逻辑

//启动服务器(并绑定端口)ChannelFuture cf = bootstrap.bind(6668).sync();//给cf注册监听器，监控我们关心的事件cf.addListener((ChannelFutureListener) channelFuture -> {    if(cf.isSuccess()){        System.out.println("监听端口6668成功");    }else{        System.out.println("监听端口6668失败");    }});

小结：相比传统阻塞I/O，执行I/O操作后线程会被阻塞住，直到操作完成；异步处理的好处是不会造成线程阻塞，线程在I/O操作期间可以执行别的程序，在高并发情形下会更稳定和更高的吞吐量；