Netty详解(持续更新中)

本文详细介绍Netty框架的特点、应用场景及核心组件,包括线程模型、核心源码剖析等内容,帮助读者深入了解Netty的设计理念和技术细节。

Netty详解

1. Netty概述

1.1 Netty简介

首先netty是什么,官网是这样定义的。
Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients.
Netty是一个异步事件驱动的网络应用程序框架用于快速开发可维护的高性能协议服务器和客户端。

Netty是目前所有NIO框架中性能最好的框架,Java本身提供的有NIO工具,但是在实际操作过程中,复杂繁琐,且对编程人员要求比较高,多线程环境下不容易定位问题,且容易出现问题,所以netty的出现极大的简化了这种操作,且性能稳定高效,其架构设计也非常优秀,值得深入学习总结。
netty官网:https://netty.io/
在这里插入图片描述

1.2 原生NIO问题

1.NIO 的类库和 API 繁杂,使用麻烦:需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer等。
2.需要具备其他的额外技能:要熟悉 Java 多线程编程,因为 NIO 编程涉及到 Reactor 模式,你必须对多线程和网络编程非常熟悉,才能编写出高质量的 NIO 程序。
3.开发工作量和难度都非常大:例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等等。4. JDK NIO 的 Bug:例如臭名昭著的 Epoll Bug,它会导致 Selector 空轮询,最终导致 CPU100%。直到 JDK1.7 版本该问题仍旧存在,没有被根本解决。

1.3 Netty特点

Netty 对 JDK 自带的 NIO 的 API 进行了封装,解决了上述问题。

1.设计优雅:适用于各种传输类型的统一 API 阻塞和非阻塞 Socket;基于灵活且可扩展的事件模型,可以清晰地分离关注点;高度可定制的线程模型-单线程,一个或多个线程池。
2.使用方便:详细记录的 Javadoc,用户指南和示例;没有其他依赖项,JDK5(Netty3.x)或 6(Netty4.x)就足够了。
3.高性能、吞吐量更高:延迟更低;减少资源消耗;最小化不必要的内存复制。
4.安全:完整的 SSL/TLS 和 StartTLS 支持。
5.社区活跃、不断更新:社区活跃,版本迭代周期短,发现的 Bug 可以被及时修复,同时,更多的新功能会被加入。

1.4 Netty应用场景

互联网行业
1.互联网行业:在分布式系统中,各个节点之间需要远程服务调用,高性能的 RPC 框架必不可少,Netty 作为异步高性能的通信框架,往往作为基础通信组件被这些 RPC 框架使用。
2.典型的应用有:阿里分布式服务框架 Dubbo 的 RPC 框 架使用 Dubbo 协议进行节点间通信,Dubbo 协议默认使用 Netty 作为基础通信组件,用于实现各进程节点之间的内部通信。

游戏行业
1.无论是手游服务端还是大型的网络游戏,Java 语言得到了越来越广泛的应用。
2.Netty 作为高性能的基础通信组件,提供了 TCP/UDP 和 HTTP 协议栈,方便定制和开发私有协议栈,账号登录服务器。
3.地图服务器之间可以方便的通过 Netty 进行高性能的通信。

大数据领域
1.经典的 Hadoop 的高性能通信和序列化组件 Avro 的 RPC 框架,默认采用 Netty 进行跨界点通信。
2.它的 NettyService 基于 Netty 框架二次封装实现。

其他使用 Netty开源项目
https://netty.io/wiki/related-projects.html

1.3 Netty版本说明

Netty 版本分为 Netty 3.x 和 Netty 4.x、Netty 5.x(已经被舍弃)。
目前在官网可下载的版本 Netty 3.x、Netty 4.0.x 和 Netty 4.1.x。
netty下载地址:https://netty.io/downloads.html

Netty 5.0为啥被舍弃问题
Netty 5.0以前是发布alpha版,市面上也有一些基于Netty 5.0的书籍,突然间舍弃的原因作者是这样阐述的,大概意思是,使用ForkJoinPool增加了复杂性,并且没有显示出明显的性能优势。同时保持所有的分支同步是相当多的工作,没有必要。
原因具体答复链接, https://github.com/netty/netty/issues/4466

3.X与4.X不兼容问题
需要注意的问题是,3.X与4.X不兼容,需要升级的需要特别注意,具体见,Netty版本升级血泪史之线程篇

2. Java IO模型

2.1 IO模型

I/O 模型简单的理解:就是用什么样的通道进行数据的发送和接收,很大程度上决定了程序通信的性能。

Java 共支持 3 种网络编程模型 I/O 模式:BIO、NIO、AIO。
Java BIO:同步并阻塞(传统阻塞型),服务器实现模式为一个连接一个线程,即客户端有连接请求时服务器端就需要启动一个线程进行处理,如果这个连接不做任何事情会造成不必要的线程开销。
在这里插入图片描述

Java NIO:同步非阻塞,服务器实现模式为一个线程处理多个请求(连接),即客户端发送的连接请求都会注册到多路复用器上,多路复用器轮询到连接有 I/O 请求就进行处理。
在这里插入图片描述
Java AIO(NIO.2):异步非阻塞,AIO 引入异步通道的概念,采用了 Proactor 模式,简化了程序编写,有效的请求才启动线程,它的特点是先由操作系统完成后才通知服务端程序启动线程去处理,一般适用于连接数较多且连接时间较长的应用。

2.2 BIO,NIO,AIO适用场景

1.BIO 方式适用于连接数目比较小且固定的架构,这种方式对服务器资源要求比较高,并发局限于应用中,JDK1.4 以前的唯一选择,但程序简单易理解。
2.NIO 方式适用于连接数目多且连接比较短(轻操作)的架构,比如聊天服务器,弹幕系统,服务器间通讯等。编程比较复杂,JDK1.4 开始支持。
3.AIO 方式使用于连接数目多且连接比较长(重操作)的架构,比如相册服务器,充分调用 OS 参与并发操作,编程比较复杂,JDK7 开始支持。

3. Java BIO

3.1 Java BIO 基本说明

1.Java BIO 就是传统的 Java I/O 编程,其相关的类和接口在 java.io。
2.BIO(BlockingI/O):同步阻塞,服务器实现模式为一个连接一个线程,即客户端有连接请求时服务器端就需要启动一个线程进行处理,如果这个连接不做任何事情会造成不必要的线程开销,可以通过线程池机制改善(实现多个客户连接服务器)。
3.BIO 方式适用于连接数目比较小且固定的架构,这种方式对服务器资源要求比较高,并发局限于应用中,JDK1.4 以前的唯一选择,程序简单易理解。

3.2 Java BIO 工作机制

在这里插入图片描述
1.服务器端启动一个 ServerSocket。
2.客户端启动 Socket 对服务器进行通信,默认情况下服务器端需要对每个客户建立一个线程与之通讯。
3.客户端发出请求后,先咨询服务器是否有线程响应,如果没有则会等待,或者被拒绝。
4.如果有响应,客户端线程会等待请求结束后,在继续执行。

BIO模型是一对一的,一个服务端对应一个客户端,对应一个线程。

3.3 Java BIO 问题分析

1.每个请求都需要创建独立的线程,与对应的客户端进行数据 Read,业务处理,数据 Write。
2.当并发数较大时,需要创建大量线程来处理连接,系统资源占用较大。
3.连接建立后,如果当前线程暂时没有数据可读,则线程就阻塞在 Read 操作上,造成线程资源浪费。

4. Java NIO

4.1 Java NIO 基本说明

1.Java NIO 全称 Java non-blocking IO ,是指 JDK 提供的新 API。从 JDK1.4 开始,Java 提供了一系列改进的输入/输出的新特性,被统称为 NIO(即 NewIO),是同步非阻塞的。
2.NIO 相关类都被放在 java.nio 包及子包下,并且对原 java.io 包中的很多类进行改写。
3.NIO 有三大核心部分: Channel(通道)、Buffer(缓冲区)、Selector(选择器) 。
4.NIO 是面向缓冲区,或者面向块编程的。数据读取到一个它稍后处理的缓冲区,需要时可在缓冲区中前后移动,这就增加了处理过程中的灵活性,使用它可以提供非阻塞式的高伸缩性网络。
5.Java NIO 的非阻塞模式,使一个线程从某通道发送请求或者读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取,而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。非阻塞写也是如此,一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。
6.通俗理解:NIO 是可以做到用一个线程来处理多个操作的。假设有 10000 个请求过来,根据实际情况,可以分配 50 或者 100 个线程来处理。不像之前的阻塞 IO 那样,非得分配 10000 个。
7.HTTP 2.0 使用了多路复用的技术,做到同一个连接并发处理多个请求,而且并发请求的数量比 HTTP 1.1 大了好几个数量级。

4.2 NIO 和 BIO 的比较

1.BIO 以流的方式处理数据,而 N

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值