netty 4.1.34 源码浅析1

最新推荐文章于 2023-08-03 13:49:47 发布
最新推荐文章于 2023-08-03 13:49:47 发布
阅读量731 收藏 1
点赞数 2
分类专栏： java java.nio 分布式 底层 文章标签： netty nio
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/undergrowth/article/details/88888375
版权
java 同时被 3 个专栏收录
178 篇文章 0 订阅
订阅专栏
分布式
31 篇文章 0 订阅
订阅专栏
java.nio
4 篇文章 0 订阅
订阅专栏

netty 4.1.34 源码浅析1

概述

背景知识

在这里插入图片描述

  • 单线程、多线程、线程池
    • 单线程Reactor(Acceptor+IO Handler/性能、安全、可靠都存在问题)
    • 多线程Reactor(Acceptor+IO Pool/当Acceptor需要鉴权,认证有很大损耗)
    • 主从Reactor(Accept Pool+IO Pool)
      • 一个Acceptor接收后,其他Acceptor负责鉴权/认证等,处理后将其注册到IO多路复用器,进行IO的读写
  • 时间轮(tickMs/whileSize/Interval/currentTime+分层)
  • web协议变更(减少加载时间与增加安全性)
    • http1.0/http1.1/https/spdy(speedy)/http2
    • ocsp(online certificate status protocol)
  • Unix I/O模型
    • 阻塞IO(进程被阻塞)
    • 非阻塞IO(轮询查内核数据,进程非阻塞)
    • IO复用型(通过注册fd到select/epoll系统调用,内核态感知fd准备好,则回调用户态进行数据复制)
      • epoll相比与select,fd无限制(select=1024/epoll=>1GB=10万个)
      • io效率不会随着fd的增加而线性下降(epoll使用活跃socket的回调,不会像select扫描所有socket列表,但是活跃的socket太多,效率就差不多)
      • epoll使用mmap同一块内存共享内核与用户空间,无需消息在两个空间的复制
      • epoll的api更简单
    • 信号驱动IO模型(通过信号量通知应用,进行数据的内核态到用户态的复制)
    • 异步IO(在内核态完成数据复制操作,应用只需处理业务逻辑)
  • java IO模型
    • BIO(通过线程池策略(伪异步)处理每一个socket,ServerSocket监听/Socket连接)
    • NIO(ByteBuffer进行数据缓冲,使用Channel进行数据传输,利用Selector进行通道的轮询与管理,读写均是异步的)
    • AIO(NIO的升级版,通过一系列的回调策略(CompletionHandler)完成应用功能,无需借助于Selector,对应于unix的异步IO)
  • Netty好处
    • api使用简单,二次开发门槛低
    • 功能强大,多种预置编解码器
    • 定制能力强,通过ChannelHandler进行二次扩展
    • 成熟、稳定、性能高、社区活跃
    • 零拷贝(堆外直接内存进行Socket读写)
  • TCP的粘拆包
    • 不同的数据包粘到一起,称之为粘包
    • 同一数据包分多次传递,则称之为被拆包
    • 可发生在TCP(套接字的缓冲区大小限制)/IP(MaxTUnit)/数据链路层(payload)
  • java序列化的劣势
    • 无法跨语言
    • 序列化后的码流太大
    • 序列化性能太低
    • 可以选择Google的PB/Apache的Thrift/Jboss的Marshalling
  • java内存模型
    • 所有变量在主内存和线程的工作内存之间进行数据的传递
      在这里插入图片描述

源码阅读问题

  • ChannelHandlerContext是如何传递共享参数的?
    • 上下文数据通过委托给Channel携带(channel().attr(key)),因为Channel和ChannelHandlerContext都继承了AttributeMap,DelegatingChannelHandlerContext中采用委托方式
  • 在解析http协议时,为什么会有HttpRequest/HttpContent/LastHttpContent这几个对象产生?
    • 主要是通过HttpObjectDecoder(解析ByteBuf为HttpMessage和HttpContent或者LastHttpContent,取决于内容数据块的长度;如果没有内容,则是createMessage创建HttpMessage的子类;如果有固定长度内容,且小于maxChunkSize,则DefaultLastHttpContent;最后有很多内容的时候,就是DefaultHttpContent、DefaultLastHttpContent)----所以这里有HttpRequest和HttpContent内容需要业务端分开处理
    • 同时在上面HttpObjectDecoder解析层的父类,有更进一步的解析,io.netty.handler.codec.ByteToMessageDecoder#fireChannelRead----将解析出来的列表元素循环迭代对后续的处理器,对于理解http的HttpRequest与HttpContent/LastHttpContent至关重要

核心Code

Nio相关与netty相近

netty特有

  • Bootstrap、ServerBootstrap (引导类)
  • EventLoop(处理注册Channel相关的io操作)
    • NioEventLoop/NioEventLoopGroup(线程池) (线程和任务队列,支持任务运行)
    • NioEventLoop管理Channel和Selector
  • ChannelHandler(无锁化的串行化设计)/ChannelPipeline(拦截过滤器模式)
    • ChannelInboundHandler/ChannelOutboundHandler
    • ChannelInboundHandlerAdapter/ChannelOutboundHandlerAdapter/ChannelDuplexHandler
    • ChannelHandlerContext(AttributeKey传递管道在多个处理器之间的共享信息)
    • ChannelPipeline(Socket.read()---->Channel Chain/Channel Chain---->Socket.write())
      • DefaultChannelPipeline
  • Future(异步操作的结果)

netty常用编解码

  • ChannelInboundHandlerAdapter(通过上下文前向传递到下一个ChannelHandler)
    • ChannelInitializer(为Channel的管道添加处理器/channelRegistered/handlerAdded 调用initChannel)
    • ByteToMessageDecoder(将ByteBuf转为Message Object)
      • LineBasedFrameDecoder(以\n或者\r\n作为分隔符,进行ByteBuf的转化)
      • DelimiterBasedFrameDecoder(将ByteBuf以分隔符的方式进行转化)
      • FixedLengthFrameDecoder(以frameLength为分隔,进行解析)
      • LengthFieldBasedFrameDecoder(以字段长度解析Byte,异常强大)
        • lengthFieldOffset/lengthFieldLength----(决定字段长度在哪里)
        • lengthAdjustment(内容长度=字段长度+长度调节值/因为字段长度可能只包含内容或者包含头信息或者字段长度的长度,所以长度调节值可正可负)
        • initialBytesToStrip(转换出来的内容是否要省略些信息,例如头部信息或者字段长度)
      • SnappyFrameDecoder(解码使用Snappy进行传输的ByteBuf)
      • ObjectDecoder(利用LengthFieldBasedFrameDecoder进行传递)
    • MessageToMessageDecoder(将Message Object转为Message Object/acceptInboundMessage/decode)
      • StringDecoder(将ByteBuf转为String)
      • Base64Decoder(将ByteBuf以Base64进行解码)
      • ProtobufDecoder
  • ChannelOutboundHandlerAdapter(通过上下文前向传递到下一个ChannelHandler)
    • MessageToMessageEncoder
      • LineEncoder
      • StringEncoder
      • Base64Encoder
      • ProtobufEncoder(pb协议转换Message为ByteBuf)
    • MessageToByteEncoder
      • ObjectEncoder
      • Bzip2Encoder(将ByteBuf使用Bzip2进行压缩)
      • SnappyFrameEncoder(将ByteBuf使用Snappy格式压缩)

http协议支持

  • HttpObject
    • HttpContent(大块对象支持)
      • DefaultHttpContent
      • LastHttpContent(EMPTY_LAST_CONTENT)
    • HttpMessage(HttpRequest/HttpResponse的通用属性支持)
    • HttpRequest
      • DefaultHttpRequest
  • HttpObjectDecoder(解析ByteBuf为HttpMessage和HttpContent或者LastHttpContent,取决于内容数据块的长度;如果没有内容,则是createMessage创建HttpMessage的子类;如果有固定长度内容,且小于maxChunkSize,则DefaultLastHttpContent;最后有很多内容的时候,就是DefaultHttpContent、DefaultLastHttpContent)----所以这里有HttpRequest和HttpContent内容需要业务端分开处理
    • HttpRequestDecoder()
    • HttpResponseDecoder(解析ByteBuf为HttpResponse/HttpContent)
  • HttpObjectEncoder(将HttpMessage或者HttpContent转换成ByteBuf)
    • HttpRequestEncoder(HttpRequest/HttpContent转为ByteBuf)
    • HttpResponseEncoder(HttpResponse/HttpContent转为ByteBuf)
  • io.netty.handler.codec.ByteToMessageDecoder#fireChannelRead----将解析出来的列表元素循环迭代对后续的处理器,对于理解http的HttpRequest与HttpContent/LastHttpContent至关重要

测试

undergrowth
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Netty-4.1.97.Final源码
08-26
Netty-4.1.97.Final源码提供了对Netty内部机制的深度洞察，对于Java程序员尤其是希望提升网络编程能力或进行定制化开发的人来说，是一份极其宝贵的资料。 首先，让我们从整体上了解Netty的架构设计。Netty采用了...
netty对http协议解析原理(一)
hetaohappy的专栏
07-23 8570
本文主要介绍netty对http协议解析原理，着重讲解keep-alive，gzip，truncked等机制，详细描述了netty如何实现对http解析的高性能。
使用netty 4.1.x 手写一个简单的websocket服务端
最新发布
qq_26782095的博客
08-03 228
使用netty 4.1.x 手写一个简单的websocket服务端
踩坑篇-Netty4.1源码本地IDEA编译
海神九考
12-05 724
最近想去弄清楚Netty内部的调用流程，以及学习一下Netty的设计思路。虽然在之前就已经学习过一遍Netty了，但是都只是比较片面的。现在想详细的弄清楚netty 内部是如何运转的，以及在源代码中进行一些备注以方便后面自己查阅。因此将源码clone下来并进行编译。由于我的本地jdk环境是1.8，因此需要在netty的父pom文件中将maven编译都改为1.8 如下： 目录下mvn编译 cd到netty源码的父目录中进行mvn编译 错误 编译的过程中会发生一些错误，错误如下 只需要将这些测试代码都注释掉即
Netty源码分析-HttpObjectDecoder
大新博客
04-27 1700
/* * Copyright 2012 The Netty Project * * The Netty Project licenses this file to you under the Apache License, * version 2.0 (the "License"); you may not use this file except in compliance *...
java经典网络框架_Netty 4.1.33 Final 发布，经典开源 Java 网络服务框架
weixin_42476061的博客
03-02 205
Allowed IP_FREEBIND option for UDP epoll (#8727)Ensure FlowControlled data frames will be correctly removed from the flow-controller when a write error happens. (#8726)Only handle NXDOMAIN as failure ...
netty4.1.68.zip
10-10
1. **异步非阻塞I/O**：Netty基于Java NIO库，使用异步事件驱动的方式处理网络I/O操作，这使得它在处理大量并发连接时表现出色。 2. **高度可定制性**：Netty提供了丰富的频道(Channel)和处理器(Handler)接口，允许...
netty-netty-4.1.79.Final.tar.gz
07-21
1. **异步事件驱动**：Netty基于非阻塞I/O模型，利用Java的NIO（Non-blocking I/O）库，实现了高并发下的高效网络通信。通过事件循环EventLoop和事件通道EventChannel，Netty能够同时处理多个连接，避免了线程上下文...
netty-netty-4.1.69.Final.tar.gz
10-20
这个“netty-netty-4.1.69.Final.tar.gz”文件是Netty的最新稳定版本，版本号为4.1.69.Final，它是一个压缩包文件，通常包含源码、编译后的类库、文档和其他相关资源。 Netty的核心特点包括： 1. **异步事件驱动**...
netty-netty-4.1.96.Final.tar.gz 官网最新版Netty Project
08-02
Netty 是一个利用 Java 的高级网络的能力，隐藏其背后的复杂性而提供一个易于使用的 API 的客户端/服务器框架。 Netty 是一个广泛使用的 Java 网络编程框架（Netty 在 2011 年获得了Duke's Choice Award，见...
netty-4.1源代码
10-27
netty netty netty netty netty netty netty netty netty netty netty
netty-4.1.33.Final
02-21
Netty 是一款用于快速开发高性能的网络应用程序的 Java 框架。它封装了网络编程的复杂性， 使网络编程和 Web 技术的最新进展能够被比以往更广泛的开发人员接触到。 Netty 不只是一个接口和类的集合；它还定义了一种架构模型以及一套丰富的设计模式。 该资源就是开发Netty程序必须要依赖的jar包
netty-all-4.1.29.Final-sources.jar 最新版netty源码
08-31
本jar包为最新的netty-all-4.1.29c.jar 可导入直接用 Netty 是一个利用 Java 的高级网络的能力，隐藏其背后的复杂性而提供一个易于使用的 API 的客户端/服务器框架。 Netty 是一个广泛使用的 Java 网络编程框架（Netty 在 2011 年获得了Duke's Choice Award，见https://www.java.net/dukeschoice/2011）。它活跃和成长于用户社区，像大型公司 Facebook 和 Instagram 以及流行 开源项目如 Infinispan, HornetQ, Vert.x, Apache Cassandra 和 Elasticsearch 等，都利用其强大的对于网络抽象的核心代码。 Netty is a NIO client server framework which enables quick and easy development of network applications such as protocol servers and clients. It greatly simplifies and streamlines network programm ing such as TCP and UDP socket server. 'Quick and easy' doesn't mean that a resulting application will suffer from a maintainability or a performance issue. Netty has been designed carefully with the experiences earned from the implementation of a lot of protocols such as FTP, SMTP, HTTP, and various binary and text-based legacy protoc ols. As a result, Netty has succeeded to find a way to achieve ease of development, performance, stability, and flexibility without a compromise.
netty-all-4.1.32.Final-sources.jar 最新版netty源码全部包
01-09
包含最新版文档以及全部jar包： jar包如下 netty-buffer-4.1.32.Final-sources.jar netty-buffer-4.1.32.Final.jar netty-build-22-sources.jar netty-build-22.jar netty-codec-4.1.32.Final-sources.jar netty-codec-4.1.32.Final.jar netty-codec-http-4.1.32.Final-sources.jar netty-codec-http-4.1.32.Final.jar netty-codec-http2-4.1.32.Final-sources.jar netty-codec-http2-4.1.32.Final.jar netty-codec-memcache-4.1.32.Final-sources.jar netty-codec-memcache-4.1.32.Final.jar netty-codec-redis-4.1.32.Final-sources.jar netty-codec-redis-4.1.32.Final.jar netty-codec-socks-4.1.32.Final-sources.jar netty-codec-socks-4.1.32.Final.jar netty-codec-stomp-4.1.32.Final-sources.jar netty-codec-stomp-4.1.32.Final.jar netty-common-4.1.32.Final-sources.jar netty-common-4.1.32.Final.jar netty-example-4.1.32.Final-sources.jar netty-example-4.1.32.Final.jar netty-handler-4.1.32.Final-sources.jar netty-handler-4.1.32.Final.jar netty-handler-proxy-4.1.32.Final-sources.jar netty-handler-proxy-4.1.32.Final.jar netty-resolver-4.1.32.Final-sources.jar netty-resolver-4.1.32.Final.jar netty-tcnative-2.0.20.Final-osx-x86_64.jar netty-tcnative-2.0.20.Final-sources.jar netty-transport-4.1.32.Final-sources.jar netty-transport-4.1.32.Final.jar netty-transport-native-epoll-4.1.32.Final-linux-x86_64.jar netty-transport-native-epoll-4.1.32.Final-sources.jar netty-transport-native-kqueue-4.1.32.Final-osx-x86_64.jar netty-transport-native-kqueue-4.1.32.Final-sources.jar netty-transport-native-unix-common-4.1.32.Final-sources.jar netty-transport-native-unix-common-4.1.32.Final.jar netty-transport-rxtx-4.1.32.Final-sources.jar netty-transport-rxtx-4.1.32.Final.jar netty-transport-sctp-4.1.32.Final-sources.jar netty-transport-sctp-4.1.32.Final.jar netty-transport-udt-4.1.32.Final-sources.jar netty-transport-udt-4.1.32.Final.jar
netty4.1源码
08-27
netty4.1的开放源代码
netty4.1.32学习（持续更新）
12-24 180
netty4.1.32学习 官方api：https://netty.io/4.1/api/index.html Netty 实战(精髓)：https://waylau.gitbooks.io/essential-netty-in-action/ 一、简单介绍 本文是根据李林峰书籍《Netty权威指南》（第2版）总结而来。 二、Netty简介 Netty是一个高性能、异步...
Netty4.1源码分析—— 服务端构建连接和接收数据
溯夜，逆流而上
10-06 519
客户端和服务端构建完连接后，下一步的目的是开始接收/发送数据了，所以服务端构建连接其实也是在为下一步做准备——为接收数据做准备，也就是创建SocketChannel并将其注册OP_READ事件，而接收数据则实质就是处理OP_READ事件了。
netty对http模型的实现
lzf的博客
05-11 560
为了表示HTTP中各种消息体，netty设计了一套完整的类型定义，包括接口和实现类。 由于类型比较多，部分实现类继承多个类和接口，关系有些复杂。我们按照接口先梳理一遍各个消息的基本情况，再看具体的类实现方式。 HTTP接口定义 基础接口 我们先来看看HTTP的基本的接口定义。下图是netty中HTTP相关的6个接口的继承结构，还有他们继承的接口： 先简单过一下各个接口的情况： ...
Netty 4.1.35.Final 发布，经典开源 Java 网络服务框架
weixin_33973600的博客
04-18 211
百度智能云 云生态狂欢季 热门云产品1折起>>> Netty 4.1.35.Final 发布了，Ne...
java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) ~[na:1.8.0_352] at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:716) ~[na:1.8.0_352] at io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:337) ~[netty-transport-4.1.87.Final.jar:4.1.87.Final] at io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:334) ~[netty-transport-4.1.87.Final.jar:4.1.87.Final] at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:776) ~[netty-transport-4.1.87.Final.jar:4.1.87.Final] at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:724) ~[netty-transport-4.1.87.Final.jar:4.1.87.Final] at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:650) ~[netty-transport-4.1.87.Final.jar:4.1.87.Final] at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:562) ~[netty-transport-4.1.87.Final.jar:4.1.87.Final] at io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:997) ~[netty-common-4.1.87.Final.jar:4.1.87.Final] at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74) ~[netty-common-4.1.87.Final.jar:4.1.87.Final] at io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30) ~[netty-common-4.1.87.Final.jar:4.1.87.Final] at java.lang.Thread.run(Thread.java:750) [na:1.8.0_352]
06-12
这个错误通常表示您的Java应用程序无法连接到目标主机或端口。可能有多种原因导致这个问题，比如网络连接问题、目标主机或端口未启动、防火墙或网络代理等。您可以尝试先检查网络连接是否正常，然后再检查目标主机或端口是否已启动，并确保您的防火墙或网络代理已正确配置。如果问题仍然存在，您可以尝试使用Java Socket API手动连接目标主机或端口以了解更多详细信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值