java架构学习——10. NIO高级编程与Netty入门

最新推荐文章于 2023-10-09 01:57:41 发布
最新推荐文章于 2023-10-09 01:57:41 发布
阅读量158 收藏
点赞数
分类专栏： java架构学习 文章标签： NIO IO AIO Netty简介
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wmq_fly/article/details/84034715
版权

本篇博文主要包含：

  • IO的分类与概念
    -IO(BIO)：同步阻塞式IO
    -NIO：同步非阻塞式IO
    -AIO(NIO.2)：异步非阻塞式IO
  • 同步、异步与伪异步的概念
  • NIO非阻塞案例
  • Netty的简单介绍
  • Netty的特点
  • Netty的简单案例

一、NIO同步阻塞与同步非阻塞

  1. IO(BIO)和NIO区别:其本质就是阻塞和非阻塞的区别
    阻塞概念:应用程序在获取网络数据的时候,如果网络传输数据很慢，就会一直等待,直到传输完毕为止。
    非阻塞概念:应用程序直接可以获取已经准备就绪好的数据,无需等待。
    IO为同步阻塞形式,NIO为同步非阻塞形式,NIO并没有实现异步,在JDK1.7后升级NIO库包，支持异步非阻塞。
    通讯模型NIO2.0(AIO)
  • BIO：同步阻塞式IO，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销，当然可以通过线程池机制改善。
  • NIO：同步非阻塞式IO，服务器实现模式为一个请求一个线程，即客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求时才启动一个线程进行处理。
  • AIO(NIO.2)：异步非阻塞式IO，服务器实现模式为一个有效请求一个线程，客户端的I/O请求都是由OS先完成了再通知服务器应用去启动线程进行处理。
  1. 同步、异步与伪异步

  • 同步时，应用程序会直接参与IO读写操作,并且我们的应用程序会直接阻塞到某一个方法上,直到数据准备就绪；或者采用轮训的策略实时检查数据的就绪状态,如果就绪则获取数据。

  • 异步时,则所有的IO读写操作交给操作系统,与我们的应用程序没有直接关系，我们程序不需要关心IO读写，当操作系统完成了IO读写操作时,会给我们应用程序发送通知,我们的应用程序直接拿走数据极即可。

  • 伪异步，由于BIO一个客户端需要一个线程去处理，因此我们进行优化，后端使用线程池来处理多个客户端的请求接入，形成客户端个数M：线程池最大的线程数N的比例关系，其中M可以远远大于N，通过线程池可以灵活的调配线程资源，设置线程的最大值，防止由于海量并发接入导致线程耗尽。
    原理：
    当有新的客户端接入时，将客户端的Socket封装成一个Task（该Task任务实现了java的Runnable接口）投递到后端的线程池中进行处理，由于线程池可以设置消息队列的大小以及线程池的最大值，因此，它的资源占用是可控的，无论多少个客户端的并发访问，都不会导致资源的耗尽或宕机。

  1. IO模型关系
    在这里插入图片描述

  2. 什么是阻塞
    应用程序在获取网络数据的时候,如果网络传输很慢,那么程序就一直等着,直接到传输完毕。

  3. 什么是非阻塞
    应用程序直接可以获取已经准备好的数据,无需等待.IO为同步阻塞形式,NIO为同步非阻塞形式。NIO没有实现异步,在JDK1.7之后，升级了NIO库包,支持异步费阻塞通讯模NIO2.0(AIO)

  4. NIO非阻塞代码演示
    客户端：

class NioCliet{
	
	public static void main(String[] args) throws IOException {
		
		System.out.println("客户端已经启动。。。。。");
		//1.创建通道
		SocketChannel sChannel = SocketChannel.open(new InetSocketAddress("127.0.0.1", 8090));
		//2.切换异步非阻塞
		sChannel.configureBlocking(false);
		//3.指定缓冲区大小
		ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
		Scanner scanner = new Scanner(System.in);
		while(scanner.hasNext()) {
			String str = scanner.next();
			byteBuffer.put((new Date().toString()+"\n"+str).getBytes());
			//4.切换为读取模式
			byteBuffer.flip();
			sChannel.write(byteBuffer);
			byteBuffer.clear();
		}
	}
}

服务器端：

class NioServer{
	
	public static void main(String[] args) throws IOException {
		System.out.println("服务器端已经启动.......");
		//1.创建通道
		ServerSocketChannel sChannel = ServerSocketChannel.open();
		//2.切换读取模式: 切换异步非阻塞
		sChannel.configureBlocking(false);
		//3.绑定连接
		sChannel.bind(new InetSocketAddress(8090));
		//4.获取选择器
		Selector selector = Selector.open();
		//5.将通道注册到选择器，并且指定监听接收事件
		sChannel.register(selector, SelectionKey.OP_ACCEPT);
		//6.轮训式 获取选择 已经准备就绪 的事件
		while(selector.select()>0) {
			//7.获取当前选择器所有注册的 选择键（已经就绪的监听事件）
			Iterator<SelectionKey> it= selector.selectedKeys().iterator();
			while(it.hasNext()) {
				//8.获取准备就绪的事件
				SelectionKey sk = it.next();
				//9.判断具体是什么事件准备就绪
				if(sk.isAcceptable()) {
					//10.若接收就绪，获取客户端连接
					SocketChannel socketChannel = sChannel.accept();
					//11.设置阻塞模式
					socketChannel.configureBlocking(false);
					//12.将该通道注册到服务器上
					socketChannel.register(selector, SelectionKey.OP_READ);
				}else if(sk.isReadable()) {
					//13.获取当前选择器 就绪 状态的通道
					SocketChannel socketChannel = (SocketChannel)sk.channel();
					//14.读取数据
					ByteBuffer buf = ByteBuffer.allocate(1024);
					int len = 0;
					while((len = socketChannel.read(buf))>0) {
						buf.flip();
						System.out.println(new String(buf.array(),0,len));
						buf.clear();
					}
				}
				it.remove();
			}
		}
	}
}

启用服务器后分别用浏览器和客服端访问，运行结果如图：
在这里插入图片描述
在SelectionKey类的源码中我们可以看到如下的4中属性：
1、SelectionKey.OP_CONNECT：可连接
2、SelectionKey.OP_ACCEPT：可接受连接
3、SelectionKey.OP_READ：可读
4、SelectionKey.OP_WRITE：可写
如果你对不止一种事件感兴趣，那么可以用“位或”操作符将常量连接起来，如下：
int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE;

二、Netty快速入门

  1. 什么是Netty
    Netty 是一个基于 JAVA NIO 类库的异步通信框架，它的架构特点是：异步非阻塞、基于事件驱动、高性能、高可靠性和高可定制性。
  2. Netty应用场景
    1).分布式开源框架中dubbo、Zookeeper，RocketMQ底层rpc通讯使用就是netty。
    2).游戏开发中，底层使用netty通讯。
  3. 为什么选择netty
    在本小节，我们总结下为什么不建议开发者直接使用JDK的NIO类库进行开发的原因：
    1). NIO的类库和API繁杂，使用麻烦，你需要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等；
    2). 需要具备其它的额外技能做铺垫，例如熟悉Java多线程编程，因为NIO编程涉及到Reactor模式，你必须对多线程和网路编程非常熟悉，才能编写出高质量的NIO程序；
    3). 可靠性能力补齐，工作量和难度都非常大。例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常码流的处理等等，NIO编程的特点是功能开发相对容易，但是可靠性能力补齐工作量和难度都非常大；
    4). JDK NIO的BUG，例如臭名昭著的epoll bug，它会导致Selector空轮询，最终导致CPU 100%。官方声称在JDK1.6版本的update18修复了该问题，但是直到JDK1.7版本该问题仍旧存在，只不过该bug发生概率降低了一些而已，它并没有被根本解决。
    4.代码演示
    4.1 导入maven依赖：
        <dependency>
			<groupId>io.netty</groupId>
			<artifactId>netty</artifactId>
			<version>3.3.0.Final</version>
		</dependency>

4.2 服务器端代码

class ServerHandler extends SimpleChannelHandler{
	/**
	 * 通道关闭的时候触发
	 */
	@Override
	public void channelClosed(ChannelHandlerContext ctx, ChannelStateEvent e) throws Exception {
		System.out.println("channelClosed");
	}

	/**
	 * 必须是连接已经建立,关闭通道的时候才会触发.
	 */
	@Override
	public void channelDisconnected(ChannelHandlerContext ctx, ChannelStateEvent e) throws Exception {
		super.channelDisconnected(ctx, e);
		System.out.println("channelDisconnected");
	}

	/**
	 * 捕获异常
	 */
	@Override
	public void exceptionCaught(ChannelHandlerContext ctx, ExceptionEvent e) throws Exception {
		super.exceptionCaught(ctx, e);
		System.out.println("exceptionCaught");

	}

	/**
	 * 接收消息
	 */
	public void messageReceived(ChannelHandlerContext ctx, MessageEvent e) throws Exception {
		super.messageReceived(ctx, e);
		System.out.println("服务器端收到客户端消息:"+e.getMessage());
		//回复内容
		ctx.getChannel().write("好的");
	}

}

//netty 服务器端
class NettyServer{
	
	public static void main(String[] args) {
		//1.创建服务类对象
		ServerBootstrap serverBootstrap = new ServerBootstrap();
		//2.创建两个线程池 分别为监听 监听端口 、 nio监听
		ExecutorService boos = Executors.newCachedThreadPool();
		ExecutorService worker = Executors.newCachedThreadPool();
		//3.设置工程并把两个线程池加入
		serverBootstrap.setFactory(new NioServerSocketChannelFactory(boos, worker));
		//4.设置管道工厂
		serverBootstrap.setPipelineFactory(new ChannelPipelineFactory() {
			
			@Override
			public ChannelPipeline getPipeline() throws Exception {
				ChannelPipeline pipeline = Channels.pipeline();
				/*ChannelPipeline是ChannelHandler的容器，它负责ChannelHandler的管理和事件拦截与调度。
				 * Netty的ChannelPipeline和ChannelHandler机制类似于Servlet 和Filter 过滤器，这类拦截器实际上是职责链模式的一种变形，
				 * 主要是为了方便事件的拦截和用户业务逻辑的定制。

				Netty的channel运用机制和Filter过滤器机制一样，它将Channel 的数据管道抽象为ChannelPipeline. 消息在ChannelPipeline中流动和传递。
				ChannelPipeline 持有I/O事件拦截器ChannelHandler 的链表，由ChannelHandler 对I/0 事件进行拦截和处理，
				可以方便地通过新增和删除ChannelHandler 来实现小同的业务逻辑定制，不需要对已有的ChannelHandler进行修改，能够实现对修改封闭和对扩展的支持。
				 */
				
				//5.将数据转换为String类型
				pipeline.addLast("decoder", new StringDecoder());
				pipeline.addLast("encode",new StringEncoder());
				pipeline.addLast("serverHandler", new ServerHandler());
				
				return pipeline;
			}
		});
		
		//6.绑定端口号
		serverBootstrap.bind(new InetSocketAddress(9999));
		System.out.println("netty server启动.......");

		while(true) {
					try {
						Thread.sleep(1000);
						System.out.println("异步非阻塞.......");
					} catch (Exception e) {
						e.printStackTrace();
					}
				}
		}
}

4.3 客户端代码

class ClientHandler extends SimpleChannelHandler {

	
	/**
	 * 通道关闭的时候触发
	 */
	@Override
	public void channelClosed(ChannelHandlerContext ctx, ChannelStateEvent e) throws Exception {
		System.out.println("channelClosed");
	}

	/**
	 * 必须是连接已经建立,关闭通道的时候才会触发.
	 */
	@Override
	public void channelDisconnected(ChannelHandlerContext ctx, ChannelStateEvent e) throws Exception {
		super.channelDisconnected(ctx, e);
		System.out.println("channelDisconnected");
	}

	/**
	 * 捕获异常
	 */
	@Override
	public void exceptionCaught(ChannelHandlerContext ctx, ExceptionEvent e) throws Exception {
		super.exceptionCaught(ctx, e);
		System.out.println("exceptionCaught");

	}

	/**
	 * 接受消息
	 */
	public void messageReceived(ChannelHandlerContext ctx, MessageEvent e) throws Exception {
		super.messageReceived(ctx, e);
		System.out.println("服务器端向客户端回复内容:"+e.getMessage());
	}

}

//netty客户端
class NettyClient{
	
	public static void main(String[] args) {
		System.out.println("netty client 启动.....");
		//创建客户端
		ClientBootstrap clientBootstrap = new ClientBootstrap();
		ExecutorService boos = Executors.newCachedThreadPool();
		ExecutorService work = Executors.newCachedThreadPool();
		
		clientBootstrap.setFactory(new NioClientSocketChannelFactory(boos, work));
		 
		clientBootstrap.setPipelineFactory(new ChannelPipelineFactory() {
			
			@Override
			public ChannelPipeline getPipeline() throws Exception {
				ChannelPipeline pipeline = Channels.pipeline();
				pipeline.addLast("decoder", new StringDecoder());
				pipeline.addLast("encoder", new StringEncoder());
				
				pipeline.addLast("clientHandler", new ClientHandler());
				
				return pipeline;
			}
		});
		ChannelFuture connect = clientBootstrap.connect(new InetSocketAddress("127.0.0.1", 9999));
		Channel channel = connect.getChannel();
		System.out.println("client start");
		Scanner scanner = new Scanner(System.in);
		while(true) {
			System.out.println("输入内容：");
			channel.write(scanner.next());
		}
	}
}

启用服务器后分别用浏览器和客服端访问，运行结果如图：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

wmq_fly
关注
专栏目录
Java高级编程
08-27
Java高级编程、内有Java IO NIO，Java+netty等框架技术详解。
java nio netty_netty 和 java nio 的区别
weixin_31956641的博客
02-16 470
Java NIO框架MINA用netty性能和链接数、并发等压力测试参数好于mina。NIO弥补了原来的62616964757a686964616fe59b9ee7ad9431333363366262I/O的不足，它再标准java代码中提供了高速和面向块的I/O原力的I/O库与NIO最重要的区别是数据打包和传输方式的不同，原来的I/O以流的方式处理数据，而NIO以块的方式处理数据；NIO以通道ch...
Java NIO与Netty
九曜
09-22 3861
Java 网络IO模型（BIO NIO AIO） BIO同步并阻塞（传统阻塞型）：一个连接一个线程，客户端有连接请求时服务器端就需要启动一个线程进行处理。线程开销大。 NIO同步非阻塞：一个请求一个线程，但客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有 I/O 请求时才启动一个线程进行处理。 AIO异步非阻塞：一个有效请求一个线程，客户端的 I/O 请求都是由 OS 先完成了再通知服务器应用去 启动线程进行处理。 BIO与NIO的区别 BIO 是面向流的，NIO 是面向缓冲区的或者
探秘Netty2：Netty与Java NIO
Java技术江湖
06-20 5373
Netty与Java NIO的渊源 netty是什么     Netty是一个基于Java NIO的client-server网络服务框架，人们可以利用netty快速地开发网络应用。同时netty相对于其他网络框架更加简单并且扩展性更强，这主要得益于其提供的简单易用的api将业务逻辑和网络处理代码解耦开来。能够使你更加专注于业务的实现而不需要太多关心网络底层实现。 异步设计     ...
Netty入门——基于NIO实现机器客服案例
weixin_43626356的博客
12-07 806
netty入门
专栏总结java8：Socket编程nio—netty快速入门和运行原理
黄规速博客:学如逆水行舟，不进则退
08-18 564
专栏总结java8：Socket编程 nio
Netty实战入门详解——让你彻底记住什么是Netty
lemonrel的博客
11-20 714
一、Netty 简介 Netty 是基于 Java NIO 的异步事件驱动的网络应用框架，使用 Netty 可以快速开发网络应用，Netty 提供了高层次的抽象来简化 TCP 和 UDP 服务器的编程，但是你仍然可以使用底层的 API。 Netty 的内部实现是很复杂的，但是 Netty 提供了简单易用的API从网络处理代码中解耦业务逻辑。Netty 是完全基于 NIO 实现的，所以整个 Nett...
华为架构师撰写的Netty核心笔记，从Java NIO到Netty的高级特性
m0_71777195的博客
11-11 124
众所周知，Netty 作为当前流行的 NIO 框架，操作省时、省事还安全，在云计算、大数据通讯，电商、游戏等领域都有广泛的应用。如果是一个大型网站，内部接口非常多的情况下，好处很明显——首先就是长链接，不用每次通信都要像 http 一样去 3 次握手什么的，减少了网络开销；其次就是其自带的注册中心、监控管理、动态扩展等，开发非常方便。然而，想要将 Netty 真正掌握并精通难度却不小。一些学习者平时只注重使用，但一到面试的时候往往卡壳：Netty框架本身存在粘包半包问题？什么时候需要考虑？
掘金小册《Netty 入门与实战：仿写微信 IM 即时通讯系统》代码
10-30
《Netty 入门与实战：仿写微信 IM 即时通讯系统》是一本深入浅出的教程，旨在帮助读者掌握Netty框架，并通过实际项目——仿写微信IM即时通讯系统，来提升对网络编程的理解。这个压缩包“netty-im-master”包含了整个...
用Java玩转并发编程—— 讲解并发编程中常用的一些技术点
最新发布
AI天才研究院
10-09 639
并发编程(concurrency programming)是指利用多核或多CPU、微内核等技术实现多个任务在同一个时刻运行的编程范式，它可以有效提升计算机系统资源利用率、缩短执行时间。Java平台提供了对多线程及其相关机制的支持，包括Thread和Runnable接口，以及锁同步机制，通过良好的编程习惯和技巧，我们可以很容易地开发出具有高并发性的并发应用。本文将围绕并发编程中的常用技术进行讲解，如线程创建、线程间通信、同步机制、原子变量类等，力争全面准确地讲解这些技术。
Java网络编程：IO，NIO与Netty
闫玉林的博客
06-16 529
新公司新项目，项目需要在硬件和软件平台进行信息传递，具体来说使用Netty。硬件和软件使用socket连接，硬件作为客户端，软件平台作为服务的，使用TCP/IP通信。接着这个机会把Java IO和Netty重新学习了一下，总结在这里，不准确或错误的地方，欢迎指出来。对于Java IO，可以分为同步与异步，也可以分为阻塞与非阻塞，下面对这些概念进行解释：reactor 模型：非阻塞同步网络模型，NIO使用的模型，事件分离器负责等待文件描述符或socket为读写操作准备就绪，然后将就绪事件传递给对应的处理器，最
Java标准NIO类库与Netty的区别
qq_33934427的博客
04-10 1945
Java标准NIO类库与Netty的区别 一、考点分析 1、考察方面 对 Netty 进行整体理解，了解其基本组成。 基于 IO、NIO 等标准 API 的实例，分析Netty的技术要点。 2、典型问答 单独从性能角度，Netty 在基础的 NIO 等类库之上进行了很多改进，例如： 更加优雅的 Reactor 模式实现、灵活的线程模型、利用 EventLoop 等创新性的机制，可以非常高效...
Java中的NIO与Netty框架
Hopefully Sky的博客
12-16 5888
前言　　随着移动互联网的爆发性增长，小明公司的电子商务系统访问量越来越大，由于现有系统是个单体的巨型应用，已经无法满足海量的并发请求，拆分势在必行。 　　在微服务的大潮之中， 架构师通常会把系统拆分成了多个服务，根据需要部署在多个机器上，这些服务非常灵活，可以随着访问量弹性扩展。 　　世界上没有免费的午餐， 拆分成多个“微服务”以后虽然增加了弹性，但也带来了一个巨大的挑战：各个服务之间互相调用的开销
Netty学习之三—— Netty 实现 NIO操作
ruanhao1203的专栏
04-10 557
pom <dependency> <groupId>io.netty</groupId> <artifactId>netty-all</artifactId> <version>5.0.0.Alpha2</version> </dependency> 服务端代码： pac...
java架构学习——17. 表单重复提交&防止模拟请求&跨域解决方案&XSS攻击
wmq_fly的博客
02-15 763
一、http长连接与短连接 在HTTP/1.0中，默认使用的是短连接。也就是说，浏览器和服务器每进行一次HTTP操作，就建立一次连接，但任务结束就中断连接。如果客户端浏览器访问的某个HTML或其他类型的 Web页中包含有其他的Web资源，如JavaScript文件、图像文件、CSS文件等；当浏览器每遇到这样一个Web资源，就会建立一个HTTP会话。 但从 HTTP/1.1起，默认使用长连接，用以保...
java架构学习——15. Cookie与Session实现原理&外网映射工具的使用
wmq_fly的博客
02-15 467
一、Web开发入门 1、软件的结构 C/S (Client - Server 客户端-服务器端) 典型应用：QQ软件 ，飞秋，红蜘蛛。 特点： 1）必须下载特定的客户端程序。 2）服务器端升级，客户端升级。 B/S （Broswer -Server 浏览器端- 服务器端） 典型应用： 腾讯官方（www.qq.com） 163新闻网站， 蚂蚁课堂官网（俗称：网站） 特点： 1）不需要安装特定的...
java架构学习——13. 垃圾回收机制算法分析&使用Jmeter压力测试工具
wmq_fly的博客
02-14 393
一、基本概念 什么是垃圾回收机制？ 垃圾回收机制不定时，向堆内存清理不可达对象。 手动GC回收 代码演示： public class GcDemo { public static void main(String[] args) { GcDemo gc = new GcDemo(); //将对象设置为不可达，垃圾回收机制将对其进行回收 gc = null; //手动...
Java.nio vs Java.io：深度比较与解析
"Java.nio与Java.io的比较" 在Java编程中，输入输出（I/O）操作是不可或缺的一部分。Java提供了两种主要的I/O模型：Java.io和Java.nio。这两个包各自有不同的特性和应用场景，理解它们的区别对于优化程序性能至关...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值