EMQ百万级MQTT消息服务(TLS压测和流量消耗)

最新推荐文章于 2024-09-28 20:28:44 发布
最新推荐文章于 2024-09-28 20:28:44 发布
阅读量1.6k 收藏 4
点赞数
文章标签： python 网络
原文链接：https://my.oschina.net/wenzhenxi/blog/1824647
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

在深入使用EMQ以及MQTT协议之后有一些心得和大伙分享一下

附上:

喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html

1.流量消耗

我们知道在MQTT心跳的时候消耗为2字节,但是实际上测试下来60秒心跳间隔,一天花费了250KB流量,平均下来一次心跳0.17KB,要是使用了证书每天消耗有470KB左右一次心跳0.32KB左右

这貌似和所谓的最小2b的心跳大小不符合呀,随后笔者拜托了测试同事进行了抓包发现一次心跳会有三个阶段,ping->pone->ack 关于这三个阶段的消耗如下

PS : 结论貌似是这样的,笔者也是小白不太清楚具体的原因希望有大神能够解答一下

TLS证书带来的消耗

关于另外一个问题就是TLS,使用TLS当然能带来很多好处,最直接的就是安全度提高了,但是在使用之前要考虑清楚TLS带来的消耗:

  • 第一是流量上的消耗,心跳包几乎翻了倍
  • 第二就是性能上 TCP 1G内存可以维持5W的链接数,使用TLS 1G内存只能维持1.5W左右的链接数

以下是笔者压测TLS的结果

  • 12W链接 8GB内存消耗
  • 15W链接 CPU维持利用率在 100% ~ 150%
  • 25W链接 12GB内存消耗
  • 每秒链接速度 3000/S 4核心剩余20%空闲

以下是对应的页面是25W TLS链接的消耗

还有一些小问题

  • 如果EMQ重启 作为服务端虽然能够连上,但是对 topic 订阅丢失
  • 使用K8S部署 无法突破65536限制, 最大连接数被限制到65536

转载于:https://my.oschina.net/wenzhenxi/blog/1824647

weixin_34309435
关注
emqx压测
liu_xue_xue的专栏
01-25 1173
这里使用emqtt-bench。
MQTT消息大小流量消耗测试
weixin_43436925的博客
12-21 6306
## 1. 本文测试了以下内容： - 设备连接mqtt消耗流量 - 每次心跳消耗流量 - 设备断开消耗流量 - 订阅topic消耗流量 - 上传消息消耗流量 - 下放消息消耗流量。
JMeter 实现 MQTT 协议压力测试 ！
最新发布
qq_73332379的博客
09-28 1003
包含固定定时器，休眠1000ms，一个发布MQTT Pub Sampler，即每个线程进来执行一次发布消息然后休眠1000ms进入下一次循环。添加一次性控制器（mqtt连接一次，后续pub消息），写上配置信息。，开启1000个线程，1s内将线程创建完毕，无限循环。创建两个计数器，pub_counter用来技术发布消息数，thread_counter用来线程计数。jtl结果文件，也可拉到windows，使用jmeter直接查看，新建线程组->聚合报告，选择jtl文件。等，可在windows下面查看结果。
EMQ服务压测
fuckluy的博客
08-16 1174
EMQ调优可以参考官方文档 EMQ服务器配置：4核8G centos 7.x EMQ版本：v3.1.0 docker部署 启用MySQL认证与鉴权 mysql docker部署 mysql和emq在同一台服务器 测试工具：官方提供的mqttbenchmark tool github地址 一些说明： 【1】emq docker版本相关emq服务...
EMQ单机压力测试
面朝大海，春暖花开
02-13 2522
EMQ单机压力测试 测试环境： VM虚拟机 Ubuntu18.04_64 2G内存2核 工具： emqtt_bench：https://github.com/emqx/emqtt-bench 准备 Ubuntu安装EMQ(省略，可参考官网) 编译Benchmark Tool 因此工具是基于Erlang编写，故编译源码需先安装Erlang环境 官方要求：Erlang/OTP R21.2+ ...
EMQX压测工具emqtt_bench安装使用
爱新觉罗ZBC
08-22 1239
是基于 Erlang 编写的，一个简洁强大的 MQTT 协议性能测试工具，emqtt_bench的运行依赖于 Erlang/OTP 21.2 以上版本运行环境建议使用erlang1:24.1.5-1编译过程可能会报错缺少cmake命令执行再进行编译，出现下图证明编译完成编译完成过后emqtt_bench文件内容如下。
EMQ压力测试及系统优化(单机11万并发连接)
weixin_44455388的博客
09-21 6550
本文档主要记录一下在EMQ压力测试中遇到的一些问题和猜想，如有错误还请指正… 一、准备工作 emqtt_bench压力测试工具 安装部署参考官网：https://docs.emqx.net/broker/latest/cn/tutorial/benchmark.html 二、压力测试 EMQ部署完成之后，在没有任何优化的情况下，一开始做压力测试，并发连接始终维持在28000左右。后来部署集群（3台）之后，使用负载均衡，三台集群并发连接总和也是无法突破28000的并发连接。并发连接始终卡在28000，因此推
MQTT消息服务器emqx
06-24
3. **客户端连接**: 客户端（如Python的paho-mqtt库、Node.js的mqtt库等）可以通过TCP或SSL/TLS协议连接到EMQ X服务器，并进行发布和订阅操作。 4. **安全与权限**: 需要确保EMQ X配置了适当的认证和授权策略，以...
EMQX 是一款开源 (opens new window)的大规模分布式 MQTT 消息服务器，功能丰富，专为物联网和实时通信应
07-10
EMQX 5.0 单集群支持 MQTT 并发连接数高达 1 亿条，单服务器的传输与处理吞吐量可达每秒百万级 MQTT 消息，并保证延迟在亚毫秒级。 EMQX 支持多种协议，包括 MQTT (3.1、3.1.1 和 5.0)、HTTP、QUIC 和 WebSocket 等...
基于EMQ服务器的mqtt通讯服务器与客户端Demo
01-08
而EMQ（Erlang MQTT Broker）是一个强大的开源MQTT消息服务器，它基于Erlang/OTP语言平台构建，具有高度可扩展性和稳定性，能够处理百万级别的并发连接。 EMQ服务器的特点包括： 1. **高性能**：EMQ利用Erlang/OTP...
EMQ - 开源的百万级MQTT消息服务器
XtmData的博客
09-20 305
EMQ（Erlang MQTT Broker）是一个基于Erlang语言开发的开源MQTT消息服务器，具有高性能和可扩展性。本文将详细介绍EMQ的特点和使用方法，并提供相应的示例代码。上述示例代码中，我们首先启动了EMQ的应用程序（emqttd），然后通过插件机制加载了一个自定义插件（emq_example_plugin）。EMQ是一个开源的百万级MQTT消息服务器，具有高性能、可扩展性和安全性等特点。通过以上步骤，我们就成功搭建了一个简单的EMQ MQTT消息服务器，并且扩展了其功能。
物联网专用消息队列EMQ的安装使用以及压测.docx
04-08
物联网专用消息队列EMQ的高可用负载均衡集群的具体安装手册以及使用jmeter进行压测的相关说明书，有需要的可以下载
EMQ2.0性能测试报告Release2.0.5
01-09
EMQPLUS企业版是基于Erlang/OTP开发的MQTT消息服务器，具备百万级高并发、毫秒级低时延、分布式集群和高可靠性等特性，适用物联网、车联网、智能硬件和移动消息等场景。 目前已广泛应用在全球市场，包括中国、北美、西欧、印度等，累计企业用户超5000家，在线终端超2000万，已被众多物联网云平台集成。
MQTT介绍,服务器(EMQ X)搭建,客户端(mqtt-spy,安卓)使用，java编程示例
09-11
EMQ X 是一个开源的 MQTT 服务器，支持大规模连接和高性能的消息处理。它提供了高度可扩展性和灵活性，适用于各种 IoT 应用场景。EMQ X 支持多种特性，如集群化、TLS/SSL 加密、用户认证与授权、消息分发策略等。...
EMQTT测试--压力测试
热门推荐
程高伟
08-04 2万+
emqtt压力测试
一分钟安装EMQ，并用Jmeter测试
LeoHsiao的博客
03-29 1065
一分钟安装EMQ并用Jmeter测试 先在一台Linux主机上安装EMQ作为MQTT broker，然后在另一台电脑上用Jmeter连接到它，进行测试。 安装EMQ 提供mqtt服务的软件有多种，比如ActiveMQ、mosquitto、EMQ等，这里采用EMQ。 从EMQ官网下载EMQ安装包：http://www.emqtt.com/downloads 拷贝到Linux主机上直接安装。 执行...
EMQ集群及压力测试总结
简单-生活
08-30 7069
记录最后调研EMQ并发测试方法及问题总结。 一、单台服务器最高只能跑2W多一点 问题描述:一直使用benchmark测试单台EMQ都没有超过3W链接数 解决方法： 本身对TCP的机制了解不够深信，目前已知一个独立的外网IP只能提供最多6W的端口号，但每个TCP需要分配一个指定的端口号。所以理论上讲一台EMQ的服务器最多能跑6W链接数。 关于一直报”shutdown,eaddrno...
MQTT新特性探索：物联网中的流量控制
TeVisual_Basic的博客
09-22 314
通过使用发布消息确认、消息队列缓冲和主题过滤器等功能，开发人员能够更好地控制和管理物联网设备之间的消息传递。以上提供的源代码示例演示了如何在不同编程语言中实现这些功能，帮助开发人员更好地理解和应用MQTT协议的流量控制特性。MQTT协议的优势在于其轻量级和高效性能，但随着物联网设备数量的增加和数据量的增长，流量控制变得尤为重要。本文将探讨MQTT协议的新特性，特别是与流量控制相关的功能，并提供相应的源代码示例。MQTT是一种基于发布/订阅模式的消息传递协议，适用于低带宽、不稳定网络环境下的物联网应用。
【phpMQTT】phpMQTT详解以及处理使用过程中内存耗死问题
dianqiangjin0204的博客
12-13 697
参考文档： https://www.cloudmqtt.com/docs-php.html github下载 :https://github.com/bluerhinos/phpMQTT CloudMQTT 概述:https://www.cloudmqtt.com/docs.html CloudMQTT 除了有php的类库，还有python，java.net等mqtt的类库。 ...
emqx 配置 MQTT tls/ssl
05-27
要在EMQX中配置MQTT TLS/SSL，需要进行以下步骤： 1. 在EMQX服务器上生成证书和密钥文件。可以使用OpenSSL工具生成自签名证书。 2. 将证书和密钥文件放置在EMQX服务器上，并将其路径添加到EMQX配置文件中。可以使用以下命令编辑EMQX配置文件： ``` sudo nano /etc/emqx/emqx.conf ``` 在配置文件中添加以下配置项： ``` ## Enable SSL listener listener.ssl.external = 8883 listener.ssl.internal = 8884 ## SSL certificates listener.ssl.keyfile = /path/to/keyfile.pem listener.ssl.certfile = /path/to/certfile.pem listener.ssl.cacertfile = /path/to/cacertfile.pem ``` 其中，`listener.ssl.external`和`listener.ssl.internal`分别是EMQX监听的外部和内部端口。`listener.ssl.keyfile`、`listener.ssl.certfile`和`listener.ssl.cacertfile`是证书和密钥文件的路径。 3. 保存并重启EMQX服务器，以使配置生效： ``` sudo systemctl restart emqx ``` 现在，EMQX服务器已经配置为支持MQTT TLS/SSL连接。可以使用TLS/SSL协议连接到EMQX服务器的端口。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值