java中read粘包怎么解决_Java BIO 的拆包、粘包问题探究

最新推荐文章于 2023-02-27 13:46:12 发布
最新推荐文章于 2023-02-27 13:46:12 发布
阅读量404 收藏 1
点赞数
文章标签： java中read粘包怎么解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39572168/article/details/114790272
版权

前言

最近参加了"拉勾教育Java高薪训练营"，学习到自定义RPC一节，老师讲了各种IO的特性和案例。我自己在写BIO代码中遇到一些问题，在此记录总结一下。

1 最简单的BIO代码

1.1 IOServer

public class IOServer {

public static void main(String[] args) throws Exception {

//首先创建了一个serverSocket

ServerSocket serverSocket = new ServerSocket();

serverSocket.bind(new InetSocketAddress("127.0.0.1",8081));

while (true){

Socket socket = serverSocket.accept(); //同步阻塞

new Thread(()->{

try {

byte[] bytes = new byte[1024];

int len = socket.getInputStream().read(bytes); //同步阻塞

System.out.println(new String(bytes,0,len));

socket.getOutputStream().write(bytes,0,len);

socket.getOutputStream().flush();

} catch (IOException e) {

e.printStackTrace();

}

}).start();

}

}

}

1.2 IOClient

public class IOClient {

public static void main(String[] args) throws IOException {

Socket socket = new Socket("127.0.0.1",8081);

socket.getOutputStream().write("hello".getBytes());

socket.getOutputStream().flush();

System.out.println("server send back data =====");

byte[] bytes = new byte[1024];

int len = socket.getInputStream().read(bytes);

System.out.println(new String(bytes,0,len));

socket.close();

}

}

第一波中使用如下这段代码来获取数据

byte[] bytes = new byte[1024];

int len = socket.getInputStream().read(bytes); //同步阻塞

System.out.println(new String(bytes,0,len)

程序可以正常工作，但是客户端传递的数据超出了1024字节呢？所以修改代码为循环获取数据

2 改为循环处理IO流后的问题

2.1 IOServer

public class IOServer {

public static void main(String[] args) throws Exception {

//首先创建了一个serverSocket

ServerSocket serverSocket = new ServerSocket();

serverSocket.bind(new InetSocketAddress("127.0.0.1", 8081));

while (true) {

Socket socket = serverSocket.accept(); //同步阻塞

new Thread(() -> {

try {

BufferedReader reader = new BufferedReader(new InputStreamReader(socket.getInputStream()));

String body = "";

String s = null;

while ((s = reader.readLine()) != null) {

body += s;

}

System.out.println(body);

socket.getOutputStream().write("success".getBytes());

socket.getOutputStream().flush();

} catch (IOException e) {

e.printStackTrace();

}

}).start();

}

}

}

2.2 IOClient

public class IOClient {

public static void main(String[] args) throws IOException {

Socket socket = new Socket("127.0.0.1",8081);

socket.getOutputStream().write("hello".getBytes());

socket.getOutputStream().flush();

System.out.println("server send back data =====");

BufferedReader reader = new BufferedReader(new InputStreamReader(socket.getInputStream()));

String body = "";

String s = null;

while ((s = reader.readLine()) != null) {

body += s;

}

socket.close();

}

}

修改后主要使用如下代码接收数据

BufferedReader reader = new BufferedReader(new InputStreamReader(socket.getInputStream()));

String body = "";

String s = null;

while ((s = reader.readLine()) != null) {

body += s;

}

测试时会发现程序执行不符合预期，完全没有数据！

87311dc9ec8d0faa5b6a1a6accf6ac5d.png

通过官方提供的jconsole工具分别分析service进程和client进程，接下来就是本文精华了^_^

2.3 服务端分析

服务端启动监听

Socket socket = serverSocket.accept(); //同步阻塞

当接收到客户端的连接时，会启动子线程来处理这个请求

while (true) {

Socket socket = serverSocket.accept(); //同步阻塞

new Thread(() -> {

try {

BufferedReader reader = new BufferedReader(new InputStreamReader(socket.getInputStream()));

通过jconsole可以看到main线程阻塞在了accept()方法上

0e3c48b295b6e9a98226b1f28c6ec21b.png

处理任务的子线程阻塞在read()方法上

36847951dc131f74380de6f3ee4913e6.png

说明循环读取数据这里出了问题，一直在这里读取数据，不知道什么时候是个头。我们知道IO流的特点是连续不断的，客户端也没有明确的说明数据传完了

2.4 客户端分析

客户端发送完数据，就会等待服务器返回数据

socket.getOutputStream().write("hello".getBytes());

socket.getOutputStream().flush();

System.out.println("server send back data =====");

BufferedReader reader = new BufferedReader(new InputStreamReader(socket.getInputStream()));

String body = "";

String s = null;

while ((s = reader.readLine()) != null) {

body += s;

}

同样的来看Jconsole

d9b5487cb273c37ffaace2e09c5e113c.png

可以看出，客户端阻塞在了read()方法上，因为服务端一直 没有返回，客户端也只能一直等着

问题的原因这时候就很清晰了，JDK提供给我们的流API是比较底层的，它的特点是连续不断的！当我们循环读取流的时候，只要连接不断开，就可以一直读取数据，就会阻塞在read()方法

所以我们必须明确指定数据什么时候接收完成！

在NIO中，我们通常会自定义协议来处理这个问题，这里也是一样，我们规定把数据分成两个部分

数据头：存储数据的长度(int型，4个byte)

数据体：存储数据(byte数组)

当然这个协议根据情况是可以变化的，如在增加一个消息的格式，指定消息是json还是xml。

下面我们就来实现吧

3 定义格式处理拆包、粘包问题

3.1 IOServer

public class IOServer {

public static void main(String[] args) throws Exception {

//首先创建了一个serverSocket

ServerSocket serverSocket = new ServerSocket();

serverSocket.bind(new InetSocketAddress("127.0.0.1", 8081));

while (true) {

Socket socket = serverSocket.accept(); //同步阻塞

new Thread(() -> {

try {

// 解析数据头

byte[] lengthb = new byte[4];

InputStream in = socket.getInputStream();

in.read(lengthb);

Integer length = ConvertUtils.byteArrayToInt(lengthb);

// 解析数据体

byte[] b = new byte[1024];

String result = "";

while (length > 0) {

int readLength;

if (length > 1024) {

readLength = in.read(b);

} else {

readLength = in.read(b, 0, length);

}

length -= readLength;

result += new String(b, 0, readLength);

}

System.out.println("接收到客户端的数据：" + result);

String content = "success";

socket.getOutputStream().write(ConvertUtils.intToByteArray(content.getBytes().length));

socket.getOutputStream().write(content.getBytes());

socket.getOutputStream().flush();

} catch (IOException e) {

e.printStackTrace();

}

}).start();

}

}

}

3.2 IOClient

public class IOClient {

public static void main(String[] args) throws IOException {

while (true){

try {

Thread.sleep(2000);

Socket socket = new Socket("127.0.0.1", 8081);

String content = "hello";

socket.getOutputStream().write(ConvertUtils.intToByteArray(content.getBytes().length));

socket.getOutputStream().write(content.getBytes());

socket.getOutputStream().flush();

// 解析数据头

byte[] lengthb = new byte[4];

InputStream in = socket.getInputStream();

in.read(lengthb);

Integer length = ConvertUtils.byteArrayToInt(lengthb);

// 解析数据体

byte[] b = new byte[1024];

String result = "";

while (length > 0) {

int readLength;

if (length > 1024) {

readLength = in.read(b);

} else {

readLength = in.read(b, 0, length);

}

length -= readLength;

result += new String(b, 0, readLength);

}

System.out.println("接收到客户端的数据：" + result);

socket.close();

} catch (InterruptedException e) {

e.printStackTrace();

}

}

}

}

程序中用到了一个int和byte转换的工具类

3.3 ConvertUtils

public class ConvertUtils {

/**

* byte[]转int

* @param bytes

* @return

*/

public static int byteArrayToInt(byte[] bytes) {

int value = 0;

// 由高位到低位

for (int i = 0; i < 4; i++) {

int shift = (4 - 1 - i) * 8;

value += (bytes[i] & 0x000000FF) << shift;// 往高位游

}

return value;

}

/**

* int到byte[]

* @param i

* @return

*/

public static byte[] intToByteArray(int i) {

byte[] result = new byte[4];

// 由高位到低位

result[0] = (byte) ((i >> 24) & 0xFF);

result[1] = (byte) ((i >> 16) & 0xFF);

result[2] = (byte) ((i >> 8) & 0xFF);

result[3] = (byte) (i & 0xFF);

return result;

}

public static void main(String[] args) {

byte[] b = intToByteArray("hello".getBytes().length);

System.out.println(Arrays.toString(b));

int i = byteArrayToInt(b);

System.out.println(i);

}

}

大功告成

35f1a55f39abe4eb656dc2956f16c9a5.png

4 总结

此前从未考虑过BIO拆包、粘包的问题，在自定义RPC框架中，使用Netty进行网络通信时，是通过自定义协议对象来解决拆包、粘包问题的，类比到BIO中，同样的思路来处理，因为IO流的特点是连续不断的。

博客都是自己的一些思考，不能保证内容完全正确，欢迎探讨

weixin_39572168
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java接收数据的粘包操作
03-13
由于在开发的过程中，遇到线程阻塞导致一次性不能够将数据全部接收完成。可以对socket通信、串口通信等进行粘包处理，已实践验证。 但是你需要根据你的通讯协议来修改一些参数，比如包长是在第几个字节上的。需要根据协议修改的地方 已在代码里备注。
tcp中粘包的产生以及处理
wk_bjut_edu_cn的博客
05-21 932
流协议与粘包 这么说吧，TCP在传输数据的时候，是不区分边界的（数据和数据之间没有边界），因为是基于字节流，字节流是由字节组成，不包含边界数据的连续流。所以数据对TCP来说就是一大堆没有结构区别的字节块。那意味着什么？意味着TCP并不能对多个数据的整体的信息进行区分（打个比方：就像是你说一堆话没有标点符号全部连在一起，别人很可能弄错）或者对单个整体信息的错误区分（比如你要发送的整块数据被分成...
Java实现串口粘包拆包
qq_44008218的博客
05-03 3921
Java根据协议进行拆包解决串口粘包 串口通信原理 1.串口通信指串口按位（bit）发送和接收字节。尽管比按字节（byte）的并行通信慢，但是串口可以在使用一根线发送数据的同时用另一根线接收数据。 2.串口是计算机上一种非常通用的设备通信协议（不要与通用串行总线Universal SerialBus或者USB混淆） 3.典型地，串口用于ASCII码字符的传输。通信使用3根线完成：（1）地线，（2）...
Java网络编程——粘包拆包出现的原因及解决方式
点滴汇聚，智在积累。——Danny
08-05 2432
在基于TCP协议的网络编程中，不可避免地都会遇到粘包和拆包的问题。在通过TCP协议交互数据过程中，TCP底层并不了解它的上层业务数据（比如此文的例子中放入ByteBuffer中要发送的数据，或者HTTP报文等）的具体含义，可能会根据实际情况（比如TCP缓冲区或者此文中定义的NIO接收数据的缓冲区ByteBuffer）对数据包进行拆分或合并。............
Java随笔记 - 断包和粘包 解决方法
JiangNanMax的博客
12-14 1777
Java随笔记 -断包和粘包 解决方法 断包和粘包 断包和粘包是Socket编程中经常提及的一个问题，这里大致从概念角度进行讲解，后续博客应该会结合代码实例进行简单的实验对比。TCP协议是面向连接、面向流的，因此它并不知道它在传输的是什么具体内容。而且当我们在同一条连接上传输多笔数据的时候，TCP协议会根据数据包的大小，出于性能以及包大小限制的考虑，对数据包进行合并或者切分发送。也就是说，我们自定义的应用数据包，如果比较小，那么在同一个TCP数据包中就可能含有多个上述自定义的数据包；而如果我们的自定义数
使用Netty解决TCP粘包和拆包问题过程详解
08-25
在本文中，我们将使用LineBasedFrameDecoder来解决TCP粘包和拆包问题。LineBasedFrameDecoder是一个基于行的解码器，它可以将输入流分割成多个行，每个行都是一个独立的数据包。我们可以使用这个解码器来解决TCP粘包...
Golang TCP粘包拆包问题的解决方法
09-19
### Golang TCP粘包拆包问题的解决方法 #### 一、引言 在使用Go语言进行网络编程时，特别是TCP编程过程中，经常会遇到所谓的“粘包”与“拆包”问题。这些问题的发生通常会影响到数据的正确性以及系统的稳定性。...
netty消息拆包粘包编解码(java代码)
最新发布
10-22
3. **Netty中的编解码处理**：Netty 提供了多种ChannelHandler（处理器）来解决这个问题，其中`LengthFieldBasedFrameDecoder`和`LengthFieldPrepender`是处理粘包和拆包的常用工具。 - `...
Netty粘包拆包问题解决方案
08-18
在上面的示例代码中，我们使用了 LengthFieldBasedFrameDecoder 来解决粘包和拆包问题。在服务端，我们使用了 ChannelInitializer 来初始化 ChannelPipeline，并添加了 StringDecoder 和 StringEncoder 来处理字符串...
【QT】自定义协议解决TCP粘包和拆包问题
08-11
在某些需要精确控制数据传输的应用中，如游戏、实时通信等，解决TCP粘包和拆包问题是至关重要的。QT是一个跨平台的C++图形用户界面应用程序开发框架，它提供了丰富的网络编程接口，可以用来处理这个问题。 本文将...
Java的BIO和NIO很难懂？用代码实践给你看，再不懂我转行！
hellojackjiang2011的博客
11-22 296
本文原题“从实践角度重新理解BIO和NIO”，原文由Object分享，为了更好的内容表现力，收录时有改动。 1、引言 这段时间自己在看一些Java中BIO和NIO之类的东西，也看了很多博客，发现各种关于NIO的理论概念说的天花乱坠头头是道，可以说是非常的完整，但是整个看下来之后，发现自己对NIO还是一知半解、一脸蒙逼的状态（请原谅我太笨）。 基于以上原因，...
java Netty处理充电桩报文粘包、拆包方案解决
jiyehang的博客
02-01 1694
netty 充电桩硬件发送报文有时多条一起发送，所以在服务器端要拆分包
Java NIO之tcp粘包拆包
lemonrel的博客
12-16 839
一 ByteToMessageDecoder 1.1 实例 ByteToMessageDecoder，用于把一个byte流转换成一个对象，实例： public class StringDecoder extends ByteToMessageDecoder { protected void decode(ChannelHandlerContext ctx, ByteBuf in, Lis...
TCP粘包|拆包和解决方案
爪哇人的博客
02-27 1001
客户端发送5个Message对象，客户端每次发送一个message对象，服务器端就会每次接受一个message，分5次进行解码，每次读取到一个message，会回复一个message对象给客户端。收发两端（客户端和服务端）都要有一一成对的socket，因此，发送端为了将多个发给接收端的包，更有效的发给对方，使用了优化算法（），将许多数据量小且间隔小的数据，合并成了一个大数据块，然后进行封包，这样做虽然提升了效率，但是接收端就难于分辨出完成的数据包，因此。客户端向服务端发送10条消息，看服务端如何接受。
TCP粘包问题的解决方案02——利用readline函数解决粘包问题
weixin_30701521的博客
01-06 126
主要内容： 1、read,write 与 recv,send函数。 recv函数只能用于套接口IO 　　ssize_t recv(int sockfd,void * buff,size_t len,int flags) 　　ssize_t send(int sockfd,const void *buff,size_t len,int flags) 　　flags为0或者为常值的或 ...
Java NIO(六)Netty解决TCP粘包/拆包
xyh的博客
07-06 1413
TCP粘包/拆包 Tcp是个“流”协议，所谓流就是没有界限的一串数据。可以类比一下水流，没有分极限。TCP底层并不了解上层业务数据的具体含义，它会根据TCP缓冲区的实际情况进行包的划分。所以一个业务数据可能被TCP拆分成多个包进行发送，也有可能把多个小的数据包封装成一个大的数据包发送。这就是TCP的拆包和粘包。 出现TCP拆包/粘包的几个原因： 程序write写入的字节大小大于套接...
Netty 粘包 拆包 | 史上最全解读
热门推荐
架构师尼恩
11-11 2万+
Netty 粘包/半包原理与拆包实战（史上最全） 疯狂创客圈 Java 聊天程序【 亿级流量】实战系列之13 【博客园 总入口 】 本文的源码工程：Netty 粘包/半包原理与拆包实战 源码 本实例是《Netty 粘包/半包原理与拆包实战》 一文的源代码工程。 写在前面 大家好，我是作者尼恩。 为了完成了一个高性能的 Java 聊天程序，在前面的文章中，尼恩已经再一次的进行了通讯协议的重新...
netty 发送消息_粘包拆包，Netty及远洋通信中的解决方案！超实用
weixin_39772352的博客
12-04 450
在进行Java NIO学习时，发现，如果客户端连续不断的向服务端发送数据包时，服务端接收的数据会出现两个数据包粘在一起的情况，这就是TCP协议中经常会遇到的粘包以及拆包的问题。一、什么粘包和拆包？现在假设客户端向服务端连续发送了两个数据包，用packet1和packet2来表示，那么服务端收到的数据可以分为三种，现列举如下：1.接收端正常收到两个数据包，即没有发生拆包和粘包的现象，此种情况不在本文...
netty怎么解决粘包和拆包问题
05-24
Netty提供了多种解决粘包和拆包问题的方式，其中比较常用的有以下几种： 1. 固定长度解码器：将接收到的数据按照固定的长度进行拆分，每个数据包的大小都是一样的。 2. 行分隔符解码器：将接收到的数据按照行分隔符进行拆分，常用的行分隔符有"\n"、"\r\n"等。 3. 自定义协议解码器：实现自定义的解码器，按照自定义的协议对接收到的数据进行拆分。 4. 分包器：在发送数据时先进行分包，每个数据包的大小都是固定的，接收方只需要按照固定的长度进行拆分即可。 5. 消息头+消息体解码器：在消息头中包含消息体的长度信息，接收方先读取消息头，然后根据消息头中的长度信息读取对应长度的消息体。 需要根据具体的业务场景选择合适的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值