1、udp高速接收数据Java环形缓存数据基于地址传递操作导致存储跟不上udp接收到数据放入环形缓存的问题

最新推荐文章于 2021-06-09 13:58:12 发布
最新推荐文章于 2021-06-09 13:58:12 发布
阅读量425 收藏 1
点赞数
分类专栏： 技术难点 成长之路 文章标签： java 值传递 环形队列 高速udp接收数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42325178/article/details/99679215
版权
本文讲述了作者在实现UDP高速接收服务时遇到的问题，即使用Java的ArrayBlockingQueue作为环形缓存时出现丢包现象。经过分析，发现是内存操作速度跟不上磁盘存取速度。在尝试优化过程中，了解到需要自定义环形队列，并在插入数据时采用对象克隆策略，最终解决了丢包问题。
摘要由CSDN通过智能技术生成

1、udp高速接收数据Java环形缓存数据基于地址传递操作导致存储跟不上udp接收到数据放入环形缓存的问题

技术有限，有不对的地方大家尽管喷，但是喷完记得讲一下更好的方案或者指出错误之处并给予解答，谢谢！！！
按照公司需求要求写一个udp服务端用于接收第三方的udp客户端传来的数据并进行处理，其中很重要一环就是用到了环形队列作为一个数据的中转（其实最开始我也是懵逼，就连环形队列是个啥都不清楚，之前也没有用过啊！）老板给我发了一些资料，然而我没看懂…于是想到自己搜啊！便兴致勃勃的上网搜索BlackingQueue发现出现一大堆，而且还是Java本身就带有的类，这不和map集合这些一样用吗，这么简单老板居然还要我专门去看看（事实证明膨胀没有好下场）
于是随便找了一个，嗯就决定是你了ArrayBlockingQueue，直接拿到我的udp服务端用，然后自己又做了一个存文件的服务，其中也有一个环形队列和udp那边用的是同一个，udp服务端负责存入环形队列，文件服务负责从里面取出来并写入磁盘。好任务做完了，开启摸鱼模式！！！
结果两天后老板叫我测试…哎！一把辛酸泪…说起来就菊花痛…算了就不说了，扯正事吧！
测试我写了一个模拟第三方udp发送数据并带上版本号，为了方便观察我存文件就直接存了一个版本号
版本号在文件中的显示
纳尼！丢包怎么这么严重（再次说明udp客

最低0.47元/天 解锁文章
qq_42325178
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java基于UDP协议发送、接收数据和附件（图片）,byte数组
qq_38839739的博客
06-29 2106
UDP协议是非连接协议，不与目标地址建立连接，简单说就是只负责发送给目标地址数据，不等待目标返回结果。每次发送只能是少量数据，不过可以少量多次发送，发送几M的图片还是没问题的。 以下是我发送数据和接收数据的相关代码，以供参考。 java基于UDP协议发送数据（客户端）： /*** * * @param licensePlate 业务数据...
多线程UDP接收数据并存储
09-12
多线程UDP接收到数据，并对数据进行存储
Udp数据缓存转发java,待 java 多线程 循环不重复处理接收到的udp数据
weixin_31106267的博客
03-10 198
Java codepackage com.maphao.aisvoyage.ede.xsocket.server;import java.io.IOException;import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.SocketException;import org.apache.comm...
udp协议接收数据Java_Java_网络编程_使用UDP协议发送及接收数据
weixin_40002336的博客
02-27 76
package test;import java.io.IOException;import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.InetAddress;public class UDPSender {public static void main(String[] args) throws ...
基于UDP的Java大数据传输
05-10
UDP传输的优点是快捷，因为它是没有安全保证的。有一定的丢失率。而且，由于各包的传输路径不同，后发送的包可能先于先发送的包到达。所以，如果发送大量的数据，就需要进行检错。当然，还得保证快捷的传输。 我就是针对这一需要，设计了大数据传输的类。 详细说明见文件中的"说明.txt"
基于RT_Thread操作系统实现的数据采集，数据上传功能.zip
10-19
3. **数据缓存**：考虑到实时性与存储限制，可能需要设计数据缓存策略，比如使用环形缓冲区，确保数据不丢失且有效管理内存。 三、数据上传 1. **网络连接**：利用 lwIP 或其他网络库建立TCP或UDP连接，与服务器...
基于VxWorks实时操作系统的通信模型设计
08-11
《基于VxWorks实时操作系统的通信模型设计》这篇文章探讨了一种创新的模块间通信模型，旨在提高效率并优化资源利用，特别适用于VxWorks实时操作系统。VxWorks是一款广泛应用于高精度实时领域的嵌入式操作系统，以其...
udp局域网聊天
12-02
UDP不建立连接，而是直接将数据报发送到网络上，每个数据报都包含完整的源和目的地址，因此可以独立于其他数据报传输。这种特性使得UDP无需复杂的连接建立过程，但同时也意味着它不保证数据的顺序、完整性和可靠性，...
基于嵌入式VxWorks实时操作系统的通信模型设计
10-19
共享内存可能会引发数据冲突和缓存溢出，信号量可能导致任务排队，而消息队列在面对大量任务和通信需求时则可能消耗大量系统资源。这些都会对VxWorks的实时性产生负面影响。 为了解决这些问题，本文引入了网络通信...
计算机系统与网络系统架构
最新发布
01-01
同时，路由表和ARP缓存等数据结构用于存储和查找网络设备的连接信息，确保数据能够到达正确的目的地。 在操作系统中，文件系统也是一种重要的数据结构，它负责组织磁盘上的文件和目录，提供高效的数据访问。常见的...
java udp 缓冲区_Java UDP网络编程
weixin_42245736的博客
03-07 313
服务器端import java.net.*; import java.io.*; import java.util.*; /* 在数据报通信中，发送和接收一个数据报，都需提供一个缓冲区，用来安置发送和接收到的数据报 * 服务器端 * 1.创建数据报套接字DatagramSocket * 2.发送缓存的大小byte[] * 3.构造数据报 DatagramPacket，用来接收长度为 len...
知识点拾遗：UDP传输数据最简单的java实现
03-22 445
知识点拾遗：UDP传输数据最简单的java实现创建最简单的UDP通信，首先是服务器端（接收方）：package assignment;import java.io.IOException; import java.net.DatagramPacket; import java.net.DatagramSocket;public class Server_udp { public static
高速接收数据缓存做数据中转进行磁盘操作
qq_42325178的博客
09-02 296
嘿嘿嘿嘿！虽然简单，还是记录一下，免得太笨了以后又犯同样的错误！ 事例介绍： 需求：udp服务端高速接收数据放入环形缓存之中，文件服务和接收端共用同一个缓存文件服务负责取数据并写入磁盘 难点：udp数据接收过快，而来一个数据你就得开启一次io操作进行写磁盘，导致写磁盘速度完全跟不上udp放数据进缓存的速度而数据丢失。 解决方案：文件服务先弄一个udp数据中转线程，再维护一个环形队列用于中转数据，u...
udp丢包与tcp发送缓存区爆满
weixin_44857939的博客
06-09 3367
如果接收端接收处理数据很慢，接收端缓存区就会数据堆积处理不过来，udp由于没有滑动窗口机制，发送过来的数据盛不下，就会丢包，发送过来直接不管。tcp由于有滑动窗口机制不会发生丢包现象，但是会让发送端发送的很慢，而产生数据有很快，同样会造成发送端发送缓存区数据堆积，直到发送缓存区爆满，再使用send往发送缓存区放数据就会报错。 1、tcp发送端发送缓存区爆满解决办法 再额外自己定义一个缓存区，产生的数据不要直接send，而是都放到自己的缓存，在适当的时候，再把自己缓存中的数据send放到发送缓存区。 2、ud
java socket 清理缓冲器_2021年有它就足够了，Java面试题抢先看，中篇（持续更新中）...
weixin_39992957的博客
12-02 119
Java 基本概念面试题37）“a==b”和”a.equals(b)”有什么区别？如果 a 和 b 都是对象，则 a==b 是比较两个对象的引用，只有当 a 和 b 指向的是堆中的同一个对象才会返回 true，而 a.equals(b) 是进行逻辑比较，所以通常需要重写该方法来提供逻辑一致性的比较。例如，String 类重写 equals() 方法，所以可以用于两个不同对象，但是包含的字母相同的比...
java udp 缓冲区,Java,Netty,TCP和UDP连接集成：没有可用于UDP连接的缓冲区空间
weixin_39598069的博客
03-20 253
我有使用TCP和UDP协议的应用程序.主要假设是客户端通过TCP协议连接到服务器,并且在建立连接时,正在发送UDP数据报.我必须支持两种连接到服务器的方案：– 客户端在服务器运行时连接– 客户端在服务器关闭时连接并重试连接,直到服务器再次启动对于第一个场景,一切都很好：我连接两个工作.问题出在第二种情况.当客户端尝试几次通过TCP连接并最终连接时,UDP连接函数会抛出异常：java.net.Soc...
java UDP通信
dreamflygril的博客
05-18 288
接收端程序： package hzy; import java.io.IOException; import java.net.DatagramPacket; import java.net.DatagramSocket; import java.net.InetAddress; import java.net.SocketAddress; import java.net.U
java socket缓冲区大小_Socket缓冲区大小修改与系统设置
weixin_30579759的博客
02-16 2287
每个Socket在Linux中都映射为一个文件，并与内核中两个缓冲区(读缓冲区、写缓冲区)相关联。或者说，每个Socket拥有两个内核缓冲区。有时，我们需要修改缓冲区的内核限制的最大值，使其符合我们的实际需求。一、系统设置[jiang@localhost ~]$ uname -aLinux localhost.localdomain 2.6.32-642.el6.x86_64 #1 SMP Tue...
三十八、Qt缓存之UDP及其使用案例
panchang199266的博客
03-05 3137
一、乱七八糟知识点 QUdpSocket::ShareAddress和QUdpSocket::ReuseAddressHint //ShareAddress，允许其他的服务（进程）去绑定这个IP和端口 //ReuseAddressHint为失败后立即使用，和SO_REUSEADDR同等功效 udpSocket->bind(port, QUdpSocket::ShareAddress | QU...
udp接收不到数据原因
06-09
UDP是一种无连接的协议，数据包可以在网络上自由传输，但是也正因为这一点，UDP协议并不能保证数据包的可靠性和顺序性。因此，如果你使用UDP接收数据时出现问题，可能有以下几个原因： 1. 数据包未到达：由于UDP协议无法保证数据包的可靠性，因此有可能由于网络拥堵、丢包等原因导致数据包未到达，造成接收不到数据的情况。 2. 端口号不正确：UDP协议是通过端口号来识别不同的应用程序的，如果接收方的端口号设置不正确，就无法接收到数据。 3. 防火墙或路由器设置：防火墙或路由器的设置可能会阻止UDP数据包的传输，导致接收不到数据。 4. 程序问题：程序本身的问题也可能导致UDP接收不到数据，例如程序没有正确绑定端口号，或者没有正确处理接收到的数据。 以上是可能导致UDP接收不到数据的一些常见原因，你可以根据具体情况进行排查。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值