Netty-TCP粘包拆包问题（二）

最新推荐文章于 2023-01-29 10:08:02 发布
最新推荐文章于 2023-01-29 10:08:02 发布
阅读量199 收藏 1
点赞数
分类专栏： Netty 文章标签： netty TCP粘包 TCP拆包
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuduti/article/details/84109142
版权

概念

无论是服务端还是客户端，当我们读取或者发送数据的时候，都需要考虑TCP底层的粘包/拆包机制。TCP是一个“流”协议，所谓流就是没有界限的遗传数据。大家可以想象下如果河流里的水就好比是数据，他们是连成一片的，没有界线，TCP底层并不了解上层的业务数据具体的含义，他会根据TCP缓冲区的实际情况进行包的划分，也就是说，在业务上，我们一个完整的包可能会被TCP分成多个包进行发送，也可能多个包封装成一个大的数据包发送出去，这就是所谓的TCP粘包、拆包问题。分析TCP粘包、拆包问题的产生原因：

  1. 应用程序write写入的字节大小大于套接字发送缓冲区的大小。
  2. 进行MSS大小的TCP分段。
  3. 以太网帧的payload大于NTU进行IP分片。

TCP粘包/拆包问题解决方案

粘包拆包问题的解决方案，根据业界主流协议有三种方案：

  1. 消息定长，例如每个报文的大小固定为200个字节，如果不够，空位补空格。
  2. 在包尾部增加特殊字符进行分割，例如增加回车等。
  3. 将消息分为消息头和消息体，在消息头中包含表示消息总长度的字段，然后进行业务逻辑处理。

Netty如何去解决粘包拆包问题

1. 分隔符类：DelimiterBasedFrameDecoder（自定义分隔符）。

public class Server {

	public static void main(String[] args) throws InterruptedException {
		//1.第一个线程组是用于接收Client连接的
		EventLoopGroup bossGroup = new NioEventLoopGroup(); 
		//2.第二个线程组是用于实际的业务处理操作的
		EventLoopGroup workerGroup = new NioEventLoopGroup();
		//3.声明一个启动NIO服务的辅助启动类，就是对我们的Server端进行一系列的配置
		ServerBootstrap b = new ServerBootstrap();
		//将两个工作线程组加入ServerBootstrap
		b.group(bossGroup, workerGroup)
		//使用NioServerSocketChannel这种类型的通道
		.channel(NioServerSocketChannel.class)
		//一定要使用childHandler绑定具体的时间处理器
		.childHandler(new ChannelInitializer<SocketChannel>() {
			@Override
			protected void initChannel(SocketChannel sc) throws Exception {
				//设置特殊分隔符
				ByteBuf buf = Unpooled.copiedBuffer("$_".getBytes());
				sc.pipeline().addLast(new DelimiterBasedFrameDecoder(1024, buf));
				//设置字符串形式的解码，将buffer类型转成字符串类型处理
				sc.pipeline().addLast(new StringDecoder());
				sc.pipeline().addLast(new ServerHandler());
			}
		})
		//设置指定通道实现的配置参数，也就是设置tcp缓冲区
		.option(ChannelOption.SO_BACKLOG, 128)
		//保持连接
		.option(ChannelOption.SO_KEEPALIVE, true);

		//绑定指定端口，进行监听
		ChannelFuture f = b.bind(8765).sync();
		
		//Thread.sleep(Integer.MAX_VALUE);
		f.channel().closeFuture().sync();
		
		bossGroup.shutdownGracefully();
		workerGroup.shutdownGracefully();
	}
}

public class ServerHandler extends ChannelHandlerAdapter{

	@Override
	public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
		String request = (String) msg;
		System.out.println("Server: " + request);
		String response = "服务器响应$_";
		//ctx.writeAndFlush(response);
		ctx.writeAndFlush(Unpooled.copiedBuffer(response.getBytes()));
	}

	@Override
	public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
		 cause.printStackTrace();
		 ctx.close();
	}
}

public class Client {

	public static void main(String[] args) throws InterruptedException {
		EventLoopGroup workgroup = new NioEventLoopGroup();
		Bootstrap b = new Bootstrap();
		b.group(workgroup)
		.channel(NioSocketChannel.class)
		.handler(new ChannelInitializer<SocketChannel>() {
			@Override
			protected void initChannel(SocketChannel sc) throws Exception {
				//同服务端编码
				ByteBuf buf = Unpooled.copiedBuffer("$_".getBytes());
				sc.pipeline().addLast(new DelimiterBasedFrameDecoder(1024, buf));
				sc.pipeline().addLast(new StringDecoder());
				sc.pipeline().addLast(new ClientHandler());
			}
		});
		
		ChannelFuture cf = b.connect("127.0.0.1", 8765).sync();
		
		//向服务端写数据
		cf.channel().writeAndFlush(Unpooled.copiedBuffer("aa$_".getBytes()));
		cf.channel().writeAndFlush(Unpooled.copiedBuffer("bbbb$_".getBytes()));
		cf.channel().writeAndFlush(Unpooled.copiedBuffer("ccccc$_".getBytes()));
		
		cf.channel().closeFuture().sync();
		workgroup.shutdownGracefully();
	}
}

/*
服务端响应：
Server: aa
Server: bbbb
Server: ccccc

客户端响应：
Client: 服务器响应
Client: 服务器响应
Client: 服务器响应
*/


public class ClientHandler extends ChannelHandlerAdapter{

	@Override
	public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
		String response = (String) msg;
		System.out.println("Client: " + response);
	}

	@Override
	public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
		 cause.printStackTrace();
		 ctx.close();
	}
}

2. FixedLengthFrameDecoder（定长）。

public class Server {

	public static void main(String[] args) throws InterruptedException {
		//1.第一个线程组是用于接收Client连接的
		EventLoopGroup bossGroup = new NioEventLoopGroup(); 
		//2.第二个线程组是用于实际的业务处理操作的
		EventLoopGroup workerGroup = new NioEventLoopGroup();
		//3.声明一个启动NIO服务的辅助启动类，就是对我们的Server端进行一系列的配置
		ServerBootstrap b = new ServerBootstrap();
		//将两个工作线程组加入ServerBootstrap
		b.group(bossGroup, workerGroup)
		//使用NioServerSocketChannel这种类型的通道
		.channel(NioServerSocketChannel.class)
		//一定要使用childHandler绑定具体的时间处理器
		.childHandler(new ChannelInitializer<SocketChannel>() {
			@Override
			protected void initChannel(SocketChannel sc) throws Exception {
				//设置定长字符串接收
				sc.pipeline().addLast(new FixedLengthFrameDecoder(5));
				//设置字符串形式的解码，将buffer类型转成字符串类型处理
				sc.pipeline().addLast(new StringDecoder());
				sc.pipeline().addLast(new ServerHandler());
			}
		})
		//设置指定通道实现的配置参数，也就是设置tcp缓冲区
		.option(ChannelOption.SO_BACKLOG, 128)
		//保持连接
		.option(ChannelOption.SO_KEEPALIVE, true);

		//绑定指定端口，进行监听
		ChannelFuture f = b.bind(8765).sync();
		
		//Thread.sleep(Integer.MAX_VALUE);
		f.channel().closeFuture().sync();
		
		bossGroup.shutdownGracefully();
		workerGroup.shutdownGracefully();
	}
}

public class ServerHandler extends ChannelHandlerAdapter{

	@Override
	public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
		String request = (String) msg;
		System.out.println("Server: " + request);
		String response = "服务器响应";
		//ctx.writeAndFlush(response);
		ctx.writeAndFlush(Unpooled.copiedBuffer(response.getBytes()));
	}

	@Override
	public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
		 cause.printStackTrace();
		 ctx.close();
	}
}

public class Client {

	public static void main(String[] args) throws InterruptedException {
		EventLoopGroup workgroup = new NioEventLoopGroup();
		Bootstrap b = new Bootstrap();
		b.group(workgroup)
		.channel(NioSocketChannel.class)
		.handler(new ChannelInitializer<SocketChannel>() {
			@Override
			protected void initChannel(SocketChannel sc) throws Exception {
				//设置定长字符串接收，这里设置10个字节是因为“服务器响应”每个字符占用两个字节
				sc.pipeline().addLast(new FixedLengthFrameDecoder(10));
				sc.pipeline().addLast(new StringDecoder());
				sc.pipeline().addLast(new ClientHandler());
			}
		});
		
		ChannelFuture cf = b.connect("127.0.0.1", 8765).sync();
		
		//向服务端写数据
		cf.channel().writeAndFlush(Unpooled.copiedBuffer("aaaaaccccc".getBytes()));
		cf.channel().writeAndFlush(Unpooled.copiedBuffer("bbbbbbbbbb".getBytes()));
		//由于服务端设置按5个字节接收数据，所以ddd将会丢失
		//cf.channel().writeAndFlush(Unpooled.copiedBuffer("ddd".getBytes()));
		//使用空格补位
		cf.channel().writeAndFlush(Unpooled.copiedBuffer("ddd  ".getBytes()));
		
		cf.channel().closeFuture().sync();
		workgroup.shutdownGracefully();
	}
}

/*
服务端响应：
Server: aaaaa
Server: ccccc
Server: bbbbb
Server: bbbbb
Server: ddd  

客户端响应：
Client: 服务器响应
Client: 服务器响应
Client: 服务器响应
Client: 服务器响应
Client: 服务器响应
*/

public class ClientHandler extends ChannelHandlerAdapter{

	@Override
	public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
		String response = (String) msg;
		System.out.println("Client: " + response);
	}

	@Override
	public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
		 cause.printStackTrace();
		 ctx.close();
	}
}
做最专注的自己
关注
专栏目录
netty案例，netty4.1基础入门篇八《NettyClient半包粘包处理、编码解码处理、收发数据方式》
bugstack虫洞栈
08-20 1776
前言介绍 Netty开发中，客户端与服务端需要保持同样的；半包粘包处理，编码解码处理、收发数据方式，这样才能保证数据通信正常。在前面NettyServer的章节中我们也同样处理了；半包粘包、编码解码等，为此在本章节我们可以把这些知识模块开发到NettyClient中。本章节涉及到的知识点有；LineBasedFrameDecoder、StringDecoder、StringEncoder、Chan...
Netty解决TCP粘包拆包问题
is_Javaer的博客
08-19 500
什么是TCP粘包/拆包 TCP是一种面向连接的、可靠的、基于字节流的传输层通信协议。TCP是基于字节流传输的，就像河流一样，数据“流”式传输，数据中间没有分界。 TCP底层并不了解上层业务数据的具体含义，它会根据TCP缓冲区的实际情况进行包的划分，所以一个完整的数据包可能会拆分成多个包传输，或者多个数据包可能会合并成一个包传输，这就是所谓的TCP的粘包/拆包问题。如下图所示： 正常业务逻辑上，Client需要向Server发送D1和D2两个数据包（如上图第一种情况）；但实际在TCP传输的过程中，可能会将D
netty自动解包长度自定义
最新发布
qiaozhangchi的专栏
01-29 796
netty自动解包长度自定义算法，就要用扩展LengthFieldBasedFrameDecoder
（NIO-框架）--Netty（四）http+xml协议栈的开发
liuyancainiao的博客
07-19 911
书上有关用ant加上JIBX去绑定java class文件和xml文件这段讲的太少了，而且还不全，我又没用过ant还有JIBX，我尝试了很多次才成功实现了ant基于build.xml去绑定二者的功能，为了避免大家和我遇到一样的问题，我把这一部分粘出来，大家可以做个参考 这是build.xml，没用过ant很多东西都是瞎搞出来的，这个build.xml是我去那本书的源码上拷贝了一份，就书上那点屁用...
netty4粘包/拆包/断包 解决方案
热门推荐
czk740960212的专栏
05-02 2万+
粘包、拆包表现形式现在假设客户端向服务端连续发送了两个数据包，用packet1和packet2来表示，那么服务端收到的数据可以分为三种，现列举如下：第一种情况，接收端正常收到两个数据包，即没有发生拆包和粘包的现象，此种情况不在本文的讨论范围内。第二种情况，接收端只收到一个数据包，由于TCP是不会出现丢包的，所以这一个数据包中包含了发送端发送的两个数据包的信息，这种现象即为粘包。这种情况由于接收端不...
使用Netty解决TCP粘包和拆包问题过程详解
08-25
使用Netty解决TCP粘包和拆包问题过程详解 Netty是一个流行的Java网络编程框架，提供了简洁、灵活的API来处理网络编程的各种问题。其中，解决TCP粘包和拆包问题是Netty的一个重要应用场景。本文将详细介绍使用Netty...
Netty精粹之TCP粘包拆包问题
09-27
### Netty精粹之TCP粘包拆包问题详解 #### 一、引言 在网络通信领域，尤其是在基于TCP协议的应用程序开发中，经常会遇到“粘包”和“拆包”的问题。这些问题虽然属于较为底层的技术细节，但对于保障数据传输的准确...
netty解决tcp粘包和拆包问题
远方的少年
01-20 2933
tcp为了提高效率会将多个数据包批量发送过来，所以就会存在粘包和拆包的问题。使用Netty,可以通过自定义协议+编解码器来解决粘包和拆包的问题。 1.定义协议 public class MessageProtocol { private int len; private byte[] content; public int getLen() { return len; } public void setLen(int len) {
Netty粘包拆包问题解决方案
08-18
Netty 粘包拆包问题解决方案 Netty 是一个基于 Java 的网络编程框架，它提供了一个便捷的方式来处理网络数据的读写操作。然而，在使用 Netty 进行网络编程时，经常会遇到粘包和拆包的问题。所谓粘包和拆包，就是指...
Netty处理TCP半包和粘包问题
程序猿小窝
02-15 1610
Netty在RPC中充当着重要的核心角色，封装了对JDK NIO的复杂操作。 TCP连接中存在半包和粘包问题，其历史原因不在追究，Netty在对问题处理上提供了现有的模板方法，用户需要自己定义编码和解码规则就可以处理。 LengthFieldBasedFrameDecoder这个类是用于分隔消息模板类； 假如我们规定一个TCP消息的结构如下： 1、两个字节表示消息长度； 2、剩余字节表示body内...
netty案例，netty4.1基础入门篇九《自定义编码解码器，处理半包、粘包数据》
bugstack虫洞栈
08-22 1654
前言介绍 在实际应用场景里，只要是支持sokcet通信的都可以和Netty交互，比如中继器、下位机、PLC等。这些场景下就非常需要自定义编码解码器，来处理字节码传输，并控制半包、粘包以及安全问题。那么本章节我们通过实现ByteToMessageDecoder、MessageToByteEncoder来实现我们的需求。 环境准备 1、jdk1.8【jdk1.7以下只能部分支持netty】 2、Net...
Netty解决分包的几种解码器介绍
qq513036862的博客
12-15 4188
一：LineBaseFrameDecoder 换行符解码器 改解码器的原理是，以此遍历缓存数组里的字节，判断字节是否为“\n”或者“\r\n”，如果读到了，就任务是数据包的结束位置，这样从遍历的start position到end position 这个闭区间就可以截取出一个完整的业务数据包。这种方式的缺点可以在数据的其他位置中包含这两个字符，导致截取数据错误，那么为了保障数据的正确性，一
Netty 解决粘包拆包
weixin_34025051的博客
05-29 1961
While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either that the input has been truncated or that an embedded message misreported its own length...
不惑之年的硬件牛人转到软件自学之netty框架（五）编码器和解码器、WebSocket
chenjb730的博客
06-28 2727
由于近期开发一个中型的物联项目，带着十来个兄弟从底层硬件到无线局域通信到通用网关到netty高可用框架到spring cloud的后台开发到移动端APP开发到WEB前端的开发整体框架的搭建，虽然很辛苦，但我一直在给兄弟们说我们要三年内在物联行业占有一席之地，期待项目的成功。就因为这样，我写出了这个netty自学框架，虽然也是开始学习，我想通过项目的历练肯定对大家都有用，加油！      今天是：2...
netty自定义编码器和解码器（粘包处理）
Donny的专栏
09-12 1万+
这里的实现方式是：将消息分为两部分，也就是消息头和消息尾，消息头中写入要发送数据的总长度，通常是在消息头的第一个字段使用int值来标识发送数据的长度。 首先我们写一个Encoder，我们继承自MessageToByteEncoder ，把对象转换成byte，继承这个对象，会要求我们实现一个encode方法： @Override protected void encode(ChannelHa...
Netty (三) TCP粘包和拆包解决方案
LANGZI7758521的专栏
09-30 1425
tcp是一个“流”的协议，一个完整的包可能会被TCP拆分成多个包进行发送，也可能把小的封装成一个大的数据包发送，这就是所谓的TCP粘包和拆包问题。 粘包、拆包问题说明 假设客户端分别发送数据包D1和D2给服务端，由于服务端一次性读取到的字节数是不确定的，所以可能存在以下4种情况。 1.服务端分2次读取到了两个独立的包，分别是D1,D2,没有粘包和拆包；2.服务端一次性接收了两个包，D1和
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值