ActiveMQ之Mqtt的TCP丢包

最新推荐文章于 2023-05-03 11:01:00 发布
最新推荐文章于 2023-05-03 11:01:00 发布
阅读量1.6k 收藏
点赞数
分类专栏： 物联网 消息中间件 文章标签： ActiveMQ MQTT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aa1215018028/article/details/82687513
版权

现象

Mqtt Consumer应该收到的消息少于预期，登录ActiveMQ的管理页面里的Topics，查看Messages Enqueued发现同样少于理应接收的数量。

定位问题

  1. 怀疑是TCP丢包，通过netstat -s命令观察发送消息前后Tcp信息的输出
  2. 对比两次Tcp信息的输出，发现packets pruned from receive queue because of socket buffer overrun与packets collapsed in receive queue due to low socket buffer等含有pruned或collapsed字样的数值在增多。

解决方案

  • 首先调整系统级tcp的缓冲区，修改/etc/sysctl.conf如下
net.core.rmem_max = 8388608
net.core.wmem_max = 8388608
net.core.rmem_default = 655360
net.core.wmem_default = 655360
net.ipv4.tcp_rmem = 4096 655360 8388608 # Tcp接收缓冲区，分别是最小、默认、最大
net.ipv4.tcp_wmem = 4096 655360 8388608 # Tcp发送缓冲区，分别是最小、默认、最大
net.ipv4.tcp_mem = 8388608 8388608 8388608
<transportConnector name="mqtt"
uri="mqtt+nio://0.0.0.0:1883?maximumConnections=1000&amp;
wireFormat.maxFrameSize=104857600&amp;transport.ioBufferSize=1048576&amp;
transport.socketBufferSize=4194304"/>
- 其中**+nio**表示启用**nio**方式的socket通信。Java里**nio**方式的socket比**bio**方式的更高效。mqtt默认采用**bio**。
- **socketBufferSize**调整缓冲区大小为4m，默认为64k，防止socket接收缓冲过小引发系统扔包
- **ioBufferSize**调整程序内部使用的缓冲区大小为1m，默认为8k，提高缓冲可以增加处理性能

代码分析

  • MQTTTransportFactory继承自TcpTransportFactory
    • org.apache.activemq.transport.tcp.TcpTransportFactory#doBind时解析URI带入的参数
  • org.apache.activemq.transport.mqtt.MQTTNIOTransportFactory#createTcpTransportServer创建TcpTransportServer
  • org.apache.activemq.transport.tcp.TcpTransportServer#doRunWithServerSocketChannel创建与客户端通信的Transport
    • 默认的socketBufferSize = 65536
    • 默认的ioBufferSize = 8192
  • Transport受org.apache.activemq.transport.TransportAcceptListener#onAccept处理
    • Transport被扔给org.apache.activemq.thread.TaskRunnerFactory线程池
    • 在线程池中创建org.apache.activemq.broker.Connection
  • Connection中的org.apache.activemq.broker.TransportConnection#start启动整个TCP的链路

Windows下定位问题的要点

aa1215018028
关注
专栏目录
java mqtt丢包_MQTT 3.1协议非严肃反思录
weixin_29405191的博客
03-06 1699
前言MQTT 3.1协议在弱网络环境下(比如2G/3G等)表现不够好，因此才有了反思。弱网环境下表现手机等终端在弱网络环境下丢包情况会非常明显，连接MQTT Server成功率很低。相比单纯的请求-相应模型的HTTP，其成功率会比MQTT订阅成功高很多。手机终端在每次TCP断开或断网后，会即刻发起TCP重连，连接成功，会重复以前步骤依次发送连接命令(CONNECT)，订阅命令(SUBSCRIBLE...
通讯协议篇（底层TCP/UDP；上层MQTT、HTTP、CoAP、DDS、AMQP、JMS；实现层RabbitMQ、ActiveMQ、Kafka）
hetiedan123的博客
04-29 9582
通讯协议篇（底层TCP/UDP；上层MQTT、HTTP、CoAP、DDS、AMQP、JMS）1、TCP/IP网络模型介绍2、TCP协议介绍1. TCP连接过程2. TCP断开链接3. TCP协议的特点3、UDP协议介绍UDP协议的特点4、TCP/UDP协议对比5、上层的MQTT、HTTP、CoAP、DDS、AMQP、JMS1、MQTT1、MQTT的介绍2、HTTP1、HTTP的介绍3、CoAP1、...
当mqtt客户端向服务端发送信息出现掉包的问题
kerryqpw的博客
10-02 5605
当mqtt客户端向服务端发送信息出现掉包的问题
mqtt
车前猛跑
06-12 299
brew安装安装目录：/usr/local/Cellar/mosquitto/1.3.5 安装自动完成了。接下来就是配置，把shagoo大师的成果直接搬过来了[html] view plain copy# =================================================================  # General configuration  # ===...
发送mqtt QoS 2的消息时,消息会丢失吗?如何保证消息传输不丢失思路
san13219091的博客
10-13 4003
MQTT您有多肯定您所发送的消息已丢失？ 您可以推断是因为未收到消息而丢失了此消息吗？ 如果消息是发布，而此消息丢失，那么该消息由发布者发送，还是发送到订户？ 或者是因为预订丢失了，而代理未将该预订的发布发送至订户？
MQTT 3.1.1 协议
qfmoxuan的专栏
04-14 6563
主要对MQTT3.1.1版本进行介绍。
即时通讯-Android推送方案（MQTT）
热门推荐
liujun2son
11-03 1万+
1.什么是MQTT协议MQTT（Message Queuing Telemetry Transport，消息队列遥测传输）是IBM开发的一个即时通讯协议。有可能成为物联网的重要组成部分。该协议支持所有平台，几乎可以把所有联网物品和外部连接起来，被用来当做传感器和致动器（比如通过Twitter让房屋联网）的通信协议2.MQTT协议的特点MQTT协议是为大量计算能力有限，且工作在低带宽、不可靠的网络的远
ActiveMQ知识概括
weixin_41005188的博客
04-25 5055
ActiveMQ知识概括ActiveMQ简介Java实现ActiveMQJMS规范与落地ActiveMQ的brokerSpring，SpringBoot整合ActiveMQActiveMQ的传输协议ActiveMQ的消息存储和持久化ActiveMQ多节点集群高级特性 ActiveMQ简介 ActiveMQ安装： 安装步骤： ①去ActiveMQ官网下载压缩包。 ②解压压缩包到指定目录。 ③启动ActiveMQ：service activemq start ④查看activemq状态：service act
ActiveMQ的Transport Connectors配置(六)
heihei
08-25 3435
##ActiveMQ Connector配置 ###**ActiveMQ Connecor分为两种：Transport Connector和Network Connector。transport Connector负责client和broker的连接，称为client-to-broker communication；Network Connector负责broker和broker之间的连接，称为br
activema 为什么会丢包呢?
Go_forward的专栏
06-08 443
最近研究了一下activemq ,master slave 架构,但是我用apachebench 测试了一下,1000ge
MQTT学习总结
qq_26226375的博客
01-26 6489
一、概念介绍 MQTT的全称为Message Queue Telemetry Transport（消息队列遥测传输协议），由IBM公司制定。是一种轻量级的、基于“发布/订阅”模式的消息传输协议。 MQTT协议具有以下特性： 基于 TCP 协议的应用层协议； 采用 C/S 架构； 使用订阅/发布模式，将消息的发送方和接受方解耦； 提供 3 种消息的 QoS（Quality of Service）: 至多一次(可能会丢包)，最少一次(保证包到达，可能会出现重包)，只有一次(保证包会到达目的地，且不会
Android 消息推送之MQTT及采坑
朱大大的博客
11-12 7867
Android 消息推送MQTT及采坑 大家好，我是一个心中有小宇宙，有很多很多事想去实现的程序员，之前想过去写博客，冥冥之中不知道如何下手，这几天公司开发的项目用到了MQTT这个东西，一想赶紧网上了解，查阅了大量的资料，文档，还是碰到了很多坑，第一，网上的文章单篇写的不全面，还是需要整合很多文章在一起才能解决。第二，时间不是很新的，有些2016、2017年，甚至2018的文章还是用的2017年的...
MQTT协议学习笔记
weixin_34121282的博客
04-04 192
1、前沿 　　万物联网的时代即将到来，物联网也由当初的概念开始进一步落实。随着无线网络技术飞速发展，各种设备都可以连接网络，实现远程控制。例如智能家居最近非常火爆，智能插座、智能LED灯、智能摄像头等。在互联网时代，HTTP协议负责建立网络连接，而到了物联网时代，由于智能硬件的差异，相比互联网终端，硬件配置要低的多，而且智能设备的环境也想多复杂，物联网中的数据传输会面临很多问题，比如在网络不稳定...
linux接收大量网络数据崩溃,linux – Netstat -s显示(并且正在增长)“从接收队列中删除的数据包”和“数据包在接收队列中崩溃”...
weixin_39623273的博客
05-08 675
我们看到以下内容：[root@primary data]# netstat -s | grep buffer ; sleep 10 ; netstat -s | grep buffer20560 packets pruned from receive queue because of socket buffer overrun997586 packets collapsed in receive ...
高并发压测机上有大量的网络报错
qq_32264301的博客
03-07 3594
backlog参数与TCP连接队列
ActiveMQ如何保证消息不丢失
qq_41030039的博客
10-06 7393
如何确保ActiveMQ的消息不会丢失呢？ 除了消息持久化，还要取决于ACK的返回，主要设置服务器session。默认是Session.AUTO_ACKNOWLEDGE，客户端onmessage监听到接收后，返回ACK给服务器。这样就能保证消息不会丢失了。 （还有其他设置，Session.CLIENT_ACKNOWLEDGE ，客户端主动调用acknowledge 方法签收消息，第三种是Sessi...
activemq消息丢失和重复消费_Java开发大型互联网-深入理解Kafka消息系统架构应用与实现...
weixin_42484477的博客
12-26 573
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统...
通信协议MQTT的使用场景有哪些？
Blue92120的博客
05-03 2045
MQTT正是满足这一需求而设计的，它具有简单、可靠、灵活等特点，在物流领域中得到了广泛应用。MQTT协议具有简单、轻量、可靠等特点，因此在物联网领域中得到了广泛应用。在物联网领域，设备数量庞大，网络环境复杂多变，因此需要一种轻量级、可靠的通信协议来保证设备之间的通信。MQTT正是满足这一需求而设计的，它具有简单、可靠、灵活等特点，在智能家居、智能城市等领域中得到了广泛应用。综上所述，MQTT协议具有广泛的使用场景，在物联网、科学研究、金融行业、医疗行业、能源行业和物流行业等领域中得到了广泛应用。
SpringBoot+ActiveMq+MQTT实现消息的发送和接收
最新发布
06-01
好的，我可以为您简单介绍一下SpringBoot集成ActiveMQ和MQTT实现消息的发送和接收。 首先，您需要在SpringBoot项目中添加ActiveMQ和MQTT的依赖，可以在pom.xml文件中添加如下代码： ```xml <!-- ActiveMQ --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-activemq</artifactId> </dependency> <!-- MQTT --> <dependency> <groupId>org.springframework.integration</groupId> <artifactId>spring-integration-mqtt</artifactId> <version>5.5.0</version> </dependency> ``` 接下来，您需要在application.properties中配置ActiveMQ和MQTT的连接信息，例如： ```properties # ActiveMQ spring.activemq.broker-url=tcp://localhost:61616 spring.activemq.user=admin spring.activemq.password=admin # MQTT spring.mqtt.username=admin spring.mqtt.password=admin spring.mqtt.url=tcp://localhost:1883 ``` 然后，您可以通过注入JmsTemplate和MqttPahoMessageHandler来实现消息的发送和接收。例如： ```java // ActiveMQ @Autowired private JmsTemplate jmsTemplate; public void sendMessage(String destination, String message) { jmsTemplate.convertAndSend(destination, message); } @JmsListener(destination = "testQueue") public void receiveMessage(String message) { System.out.println("Received message: " + message); } // MQTT @Autowired private MqttPahoMessageHandler mqttHandler; public void sendMessage(String topic, String message) { mqttHandler.setDefaultTopic(topic); mqttHandler.handleMessage(MessageBuilder.withPayload(message).build()); } @MessageEndpoint public class MqttMessageReceiver { @ServiceActivator(inputChannel = "mqttInputChannel") public void receiveMessage(String message) { System.out.println("Received message: " + message); } } ``` 以上代码中，sendMessage方法用于发送消息，receiveMessage方法用于接收消息。使用JmsTemplate可以很方便地发送和接收ActiveMQ消息，使用MqttPahoMessageHandler和MqttMessageReceiver可以很方便地发送和接收MQTT消息。 这就是SpringBoot集成ActiveMQ和MQTT实现消息发送和接收的基本流程，希望对您有所帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值