2.netty源码分析，从实例分析netty源码执行流程

最新推荐文章于 2024-08-27 10:20:46 发布
最新推荐文章于 2024-08-27 10:20:46 发布
阅读量549 收藏 3
点赞数 1
分类专栏： netty 文章标签： java netty socket nio
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33743572/article/details/109990781
版权

前言

        学习netty源码前需要熟悉nio的执行流程，netty就是对nio的封装和优化，netty的部分代码会用到和nio一样的代码。熟悉nio的执行流程：https://blog.csdn.net/qq_33743572/article/details/110209722


        框架源码大多不简单，许多代码前后呼应，仅凭看代码很难把有些框架的逻辑理清楚，需要画图才能清晰。
        此篇着重从图看代码，我是一边看代码一边画的，看完后重复看了好几遍修改了好几遍。
        netty的源码没有spring的那么模块化，初学者一定要有耐心看，一边看代码一边看图或自己画图，我也是看了一个星期才整理完成。
        只画了server端的图，client端相差不多。
        大神如果发现有问题也请指教，或者加我一起探讨。

netty简介

netty是jboss提供的一个java开源的网络编程框架，特点是异步、nio、事件驱动。是对nio的封装优化，因为java原生nio代码不友好。

netty的介绍网上很多。此篇专注源码流程。

netty线程模型

两个NioEventLoop：BossGroup和WorkerGroup，就是下面实例NettyServer里bootstrap.group(bossGroup, workerGroup)的那两个。也是两个线程。NioEventLoopGroup是管理NioEventLoop周期的线程池。

BossGroup负责监听处理客户端连接。WorkerGroup负责监听读、写。这两个NioEventLoop里有各自的selector，负责循环监听事件。

BossGroup和WorkerGroup是netty对nio的优化，nio只有一个selector监听连接和读、写事件，而netty让BossGroup专门监听连接事件，这样可以同时支持更高的并发连接。

 

再了解几个netty的组件：

​Channel：通道。负责建立连接、io。

​Selector：选择器。是channel的注册中心。channel与selector建立连接，selector监听channe的事件（网络连接、读、写）。每次注册的时候生成一个selectionKey(channel+selector)，放在Selector的数组里。

​Buffer：缓冲区。发送方先将数据写到缓冲区，再将缓冲区交给线程。

​ChannelHandler：通道处理器。在连接、读、写的时候做些操作，有点类似拦截器。

​ChannelPipeline：ChannelHandler的责任链，每个channel都有自己的pipeline。

接下来看实例

实例代码：

实例也可从我github上下载：https://github.com/chendaliu/architectCourse/tree/master/nettyDemo/src/main/java/com/czl/netty/base

maven依赖：

<dependencies>
    <dependency>
        <groupId>io.netty</groupId>
        <artifactId>netty-all</artifactId>
        <version>4.1.35.Final</version>
    </dependency>
</dependencies>

1.NettyServer.java

package com.czl.netty.base;

import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelOption;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;

public class NettyServer {

    public static void main(String[] args) throws Exception {
        //创建两个线程组bossGroup和workerGroup, 含有的子线程NioEventLoop的个数默认为cpu核数的两倍
        // bossGroup只是处理连接请求 ,真正的和客户端业务处理，会交给workerGroup完成
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            //创建服务器端的启动对象
            ServerBootstrap bootstrap = new ServerBootstrap();
            //使用链式编程来配置参数
            bootstrap.group(bossGroup, workerGroup) //设置两个线程组
                    .channel(NioServerSocketChannel.class) //使用NioServerSocketChannel作为服务器的通道实现
                    // 初始化服务器连接队列大小，服务端处理客户端连接请求是顺序处理的,所以同一时间只能处理一个客户端连接。
                    // 多个客户端同时来的时候,服务端将不能处理的客户端连接请求放在队列中等待处理
                    .option(ChannelOption.SO_BACKLOG, 1024)
                    .childHandler(new ChannelInitializer<SocketChannel>() {//创建通道初始化对象，设置初始化参数

                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            //对workerGroup的SocketChannel设置处理器
                            ch.pipeline().addLast(new NettyServerHandler());
                        }
                    });
            System.out.println("netty server start。。");
            //绑定一个端口并且同步, 生成了一个ChannelFuture异步对象，通过isDone()等方法可以判断异步事件的执行情况
            //启动服务器(并绑定端口)，bind是异步操作，sync方法是等待异步操作执行完毕
            ChannelFuture cf = bootstrap.bind(9000).sync();
            //给cf注册监听器，监听我们关心的事件
            //对通道关闭进行监听，closeFuture是异步操作，监听通道关闭
            // 通过sync方法同步等待通道关闭处理完毕，这里会阻塞等待通道关闭完成
            cf.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

2.NettyServerHandler.java

package com.czl.netty.base;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
import io.netty.util.CharsetUtil;

/**
 * 自定义Handler需要继承netty规定好的某个HandlerAdapter(规范)
 */
public class NettyServerHandler extends ChannelInboundHandlerAdapter {

    /**
     * 读取客户端发送的数据
     *
     * @param ctx 上下文对象, 含有通道channel，管道pipeline
     * @param msg 就是客户端发送的数据
     * @throws Exception
     */
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        System.out.println("服务器读取线程 " + Thread.currentThread().getName());
        //Channel channel = ctx.channel();
        //ChannelPipeline pipeline = ctx.pipeline(); //本质是一个双向链接, 出站入站
        //将 msg 转成一个 ByteBuf，类似NIO 的 ByteBuffer
        ByteBuf buf = (ByteBuf) msg;
        System.out.println("客户端发送消息是:" + buf.toString(CharsetUtil.UTF_8));
    }

    /**
     * 数据读取完毕处理方法
     *
     * @param ctx
     * @throws Exception
     */
    @Override
    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
        ByteBuf buf = Unpooled.copiedBuffer("HelloClient".getBytes(CharsetUtil.UTF_8));
        ctx.writeAndFlush(buf);
    }

    /**
     * 处理异常, 一般是需要关闭通道
     *
     * @param ctx
     * @param cause
     * @throws Exception
     */
    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        ctx.close();
    }
}

3.NettyClient.java

package com.czl.netty.base;

import io.netty.bootstrap.Bootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioSocketChannel;

public class NettyClient {
    public static void main(String[] args) throws Exception {
        //客户端需要一个事件循环组
        EventLoopGroup group = new NioEventLoopGroup();
        try {
            //创建客户端启动对象
            //注意客户端使用的不是ServerBootstrap而是Bootstrap
            Bootstrap bootstrap = new Bootstrap();
            //设置相关参数
            bootstrap.group(group) //设置线程组
                    .channel(NioSocketChannel.class) // 使用NioSocketChannel作为客户端的通道实现
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            //加入处理器
                            ch.pipeline().addLast(new NettyClientHandler());
                        }
                    });

            System.out.println("netty client start。。");
            //启动客户端去连接服务器端
            ChannelFuture cf = bootstrap.connect("127.0.0.1", 9000).sync();
            //对通道关闭进行监听
            cf.channel().closeFuture().sync();
        } finally {
            group.shutdownGracefully();
        }
    }
}

4.NettyClientHandler.java

package com.czl.netty.base;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
import io.netty.util.CharsetUtil;

public class NettyClientHandler extends ChannelInboundHandlerAdapter {

    /**
     * 当客户端连接服务器完成就会触发该方法
     *
     * @param ctx
     * @throws Exception
     */
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        ByteBuf buf = Unpooled.copiedBuffer("HelloServer".getBytes(CharsetUtil.UTF_8));
        ctx.writeAndFlush(buf);
    }

    //当通道有读取事件时会触发，即服务端发送数据给客户端
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        ByteBuf buf = (ByteBuf) msg;
        System.out.println("收到服务端的消息:" + buf.toString(CharsetUtil.UTF_8));
        System.out.println("服务端的地址： " + ctx.channel().remoteAddress());
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

跑起实例

1.先把NettyServer跑起来，输出如下说明server启动成功：

netty server start。。

2.把NettyClient跑起来

服务端输出如下：

  1. 服务器读取线程 nioEventLoopGroup-3-1
  2. 客户端发送消息是:HelloServer
  3. 服务器读取线程 nioEventLoopGroup-3-2
  4. 客户端发送消息是:HelloServer

说明client和server连接成功。

源码跟踪

停掉服务，开启debug。

从NettyServer的  ChannelFuture cf = bootstrap.bind(9000).sync() 这一行开始断点调试，进入bind方法后，执行流程如下图：

原图地址：https://www.jianguoyun.com/p/DR0I9J0QqKrvCBiyic4D

 

 

名猿陈大浏
关注
专栏目录
膜拜~ 终于拿到了美团老大哥分享的 Netty 源码剖析与应用 PDF
SharingOfficer的博客
05-21 834
前言 Netty 是一款基于 NIO（非阻塞 I/O）开发的网络框架，与传统 BIO 相比，它的并发性能得到了很大的提高，而且更加节省资源。Netty 不仅封装了 NIO 操作的很多细节；在设计上还基于灵活、可扩展的事件驱动模型与高度可定制的线程模型，让 Netty 的应用更加灵活。 作为一个被广泛使用的 Java 网络编程框架，Netty 在互联网领域、大数据分布式计算领域、游戏行业、物联网行业等都得到了广泛的应用。很多流行的大数据框架的核心通信模块也都使用的是 Netty，如 Elasticsea..
Netty服务端启动的整体流程-基于源码4.1.96Final分析
大鹏的博客
09-04 383
创建服务端 Channel：本质是创建 JDK 底层原生的 Channel，并初始化几个重要的属性，包括 id、unsafe、pipeline 等。初始化服务端 Channel：设置 Socket 参数以及用户自定义属性，并添加两个特殊的处理器 ChannelInitializer 和 ServerBootstrapAcceptor。注册服务端 Channel：调用 JDK 底层将 Channel 注册到 Selector 上。端口绑定。
Mysql 架构和工作流程
xinyuezitang的博客
10-31 229
一 Mysql 架构分层 总体上，我们把Mysql分为三层： 建立连接和交互的客户端 真正执行操作的服务层 跟硬件打交道的存储引擎层 二 Mysql 查询过程 （1） 查询过程 看图了解Mysql查询大致过程： 客户端向服务端发起一条请求（这里建立通信过程） 服务端先检查缓存，如果命中缓存，直接返回结果，否则进行下一阶段 服务器进行sql解析和预处理，再经过查询优化器形成对应的执行计划 mysql根据执行计划，调用API给存储引擎， 进行数据的读取和存储 缓存查询结果，并将结果返回给客户端 三 My
Netty实战源码解析与应用
最新发布
weixin_34471637的博客
08-27 1059
本文还有配套的精品资源，点击获取 简介：《Netty实战》详细介绍了Netty框架，一个为开发高性能网络应用程序而设计的异步事件驱动框架。本书通过实例讲解了Netty的核心组件和使用方法，并提供了丰富的源代码，覆盖了Netty的基础架构、异步编程模型、自定义处理器、高效字节缓冲区处理、协议支持、处理链优化、心跳机制、异常处理和性能优化等多个方面。通过学习这些源代码，开发者能...
netty源码分析
weixin_34186931的博客
12-08 138
　　1、Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。也就是说，Netty 是一个基于NIO的客户、服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户，服务端应用。Netty相当简化和流线化...
MySQL工作流程
diaolouan9546的博客
08-27 607
mysql的工作流程: 　　 1.mysql 架构 　　mysql 分为 server 层和存储引擎 1.1.server层 　　 连接器：管理连接权限验证 查询缓存：命中缓存直接换回查询结果 分析器：分析语法 优化器：生成执行计划，选择索引 执行器：操作索引返回结果 1.2. 存储引擎 　　存储引擎负责数据...
mysql工作流程
weixin_30446613的博客
03-05 478
1.connector sql交互语言，php，java等 2.系统管理和控制工具 3.连接池 管理缓冲用户连接，线程处理等需要缓存的需求 4.Sql接口接受sql命令，返回查询结果 5.解释器 sql命令传递到解析器进行解析和验证 分解sql语句成数据结构后边语句的传递都基于这个结构 解析过程中验证sql的合法性，解析出错不继续解析 6.查询优化器 S...
netty源码深入分析
12-06
《Netty源码深入分析》是由美团基础架构部的闪电侠老师所分享的一系列关于Netty源码解析的视频教程。以下将根据标题、描述、标签以及部分内容等信息，对Netty及其源码进行深入剖析。 ### Netty简介 Netty是基于...
Netty源码分析系列之NioEventLoop
热门推荐
liushangzaibeijing的博客
08-28 5万+
这里从我们之前创建Netty服务端和客户端例子出发（第一个就是创建NioEventLoopGroup对象）出发 本篇文章分析了Netty的三种经典的Reactor线程模型，同时分析了线程模型的实现类NioEventLoop从其创建和启动两个角度对该类进行详细的分析，希望对读者学习netty框架有所帮助
Netty核心源码剖析（二）Netty启动源码流程分析
舞鹤白沙编码日志
01-29 909
目录 一. 启动流程分析 （一）流程图 （二）Netty模型图 ​二. 主要源码跟踪 （一）初始化与注册 （二）通道初始化 ​（三）注册通道 （四）执行execute方法 （五）startThread-->run方法启动线程 （六）runAllTasks方法 （七）register0方法 （八）ServerBootstrapAcceptor解析 一. 启动流程分析 （一）流程图 （二）Netty模型图 二. 主要源码跟踪 （一）初始化与...
HTTP2:netty http2 StreamChannel多流实现与Http2StreamFrame解码器的源码分析
Mr_rain的专栏
02-08 1088
netty http2 server侧的核心逻辑个人认为，主要在编解码处理器和Stream Transform Channel这块，分别处理Http2 消息帧的编解码，以及连接的多流处理机制。
mysql 工作流程 （分享）
qq_36414739的博客
08-26 578
office 修改 表格流程 mysql程序结构 mysqld 是mysql的主要进程，相当于office程序。部署在服务器上会一直在后台运行 并且开多个线程来提高效率。给表操作开辟一块预分配的内存 专门提供mysqld使用 mysql 逻辑结构 A方案全表扫描 B方案走索引 const 优化算法替我们找到最优的解决方案 最后由链接线程把结果返回给客户端 1.3.2.1 连接层 （1）提供连接协议：TCP/IP 、SOCKET （2）提供验证：用户、密码，IP，SOCKET （3）提
mysql工作_MySQL工作流程
weixin_35763055的博客
01-18 328
mysql的工作流程:1.mysql 架构mysql 分为 server 层和存储引擎1.1.server层连接器：管理连接权限验证查询缓存：命中缓存直接换回查询结果分析器：分析语法优化器：生成执行计划，选择索引执行器：操作索引返回结果1.2. 存储引擎存储引擎负责数据的存储和提取；其架构是插件式的。innodb 在 mysql5.5.5 版本开始成为 mysql 默认存储引擎。各存储引擎比对：I...
MySQL工作流程图
qq_40883945的博客
02-02 672
MySQL是一个基于客户机/服务器的关系数据库管理系统，MySQL的工作流程如下图：
Netty业务代码执行流程源码解析
JavaEdge全是干货的技术号
12-23 1247
worker thread 执行示意图 Handler执行资格: 实现了ChannellnboundHandler 实现方法channelRead不能加注解@Skip 执行流程 多路复用器( Selector )接收到OP_ READ事件 处理 OP_READ事件: NioSocketChannel.NioSocketChannelUnsafe.read 分配一个初始1024字节的byte buffer来接受数据 从 Channet接受数据到byte buffer 记录实际接受数据大小， 调整下次分
mysql工作流程_MySQL：基础架构和工作流程
weixin_39937524的博客
02-02 200
1. 基本架构大体来说，MySQL可以分为Server层和存储引擎两部分。Server层包括链接器，分析器，优化器，执行器等，涵盖大多数核心服务功能，一般跨存储引擎的功能都在这一层实现，比如存储过程，触发器，视图等。存储引擎负责数据的存储和提取。其架构模式是插件式，支持InnoDB，MyISAM，Memory等存储引擎，MySQL5.5.5版本后默认引擎为InnoDB。1.1 连接器负责和客户端建...
Netty源码分析-概述
码农杰森
09-08 485
大家好，我是小森。前段时间我们学习了Netty框架，并完成了Netty框架主要组件的入门介绍(没有学习的小伙伴可以看这Netty框架入门)；在这个系列中围绕服务端与客户端通信的示例展开学习，对Netty的Bytebuf、ChannelHandler、ChannelPipeline、Bootstrap和EventLoop等模块进行了学习，因为是入门级别所以讲的也不是很深入。但我相信通过这个入门系列的学习你已经学会了Netty框架的使用并且会产生一些思考与问题，例如下面这些： Netty的Bootstrap
MySQL的工作流程及常用工具简介——MySQL 5.7数据库
雨云21的博客
03-20 1053
一. MySQL的工作流程 （1）操作系统用户启动MySQL服务。 （2）MySQL服务启动期间，首先将配置文件中的参数信息读入服务器内存。 （3）根据MySQL配置文件的参数信息或者编译MySQL时参数的默认值生成一个服务实例进程Instance。 （4）MySQL服务实例进程派生出多个线程为多个客户机提供服务。 （5）数据库用户访问MySQL服务器的数据时，首先需要选择一台登录主机，然后...
一、简述MySQL的基本流程
a592381841的博客
07-21 1571
简述MySQL的基本流程 话不多说，先来一图 流程描述 第一步： 数据库客户端（client）通过 数据库连接池 发送 一条SQL给到 数据库。 连接池有类似 Druid、C3P0、DBCP等等 使用数据库连接池作用：其实就是先创建好数据库连接，避免每次每次访问都需要创建连接，然后又销毁连接。（有兴趣的小伙伴可以去看看数据库连接池的原理啊哦） 第二步： MySQL服务器连接池中的某个连接的线程 负责 监听和读取收到的消息（SQL）。 每个网络连接都会分配有一个线程进行 监听和读取 数据
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值