【EMQX实践】EMQX集群

最新推荐文章于 2025-04-01 16:22:57 发布
最新推荐文章于 2025-04-01 16:22:57 发布
阅读量1.7k 收藏 22
点赞数 23
分类专栏： EMQX实践专栏 文章标签： 中间件 iot 物联网
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35701988/article/details/140559305
版权

除了运行单个 EMQX 节点，EMQX 本身支持分布式集群架构，能够在保证高可用性、容错性和可扩展性的同时，处理大量的客户端和消息。通过使用 EMQX 集群，您可以在一个或多个节点发生故障时仍然保持集群运行，从而享受到容错和高可用性的好处。
相比与之前版本，EMQX 5.0 集群采用了新的 Mria 集群架构，单节点能支持 500 万 MQTT 设备连接，集群可扩展至 1 亿并发 MQTT 连接。

工作原理

集群中的每个节点都运行一个 EMQX 实例，每个节点与集群中的其他节点通信，共享客户端连接、订阅、发布消息等信息。这允许集群在节点之间自动分配负载并在节点出现故障时提供高可用性。
EMQX 集群在不同节点上维护数据的多个副本来提供数据冗余，即使一个节点发生故障，数据在集群中的其他节点上仍然可用。
在集群架构下，您可以随着业务的增长向集群添加新节点，从而提供可扩展性。这使您可以处理越来越多的客户端和消息，而不必担心单个代理的限制。
EMQX 由 Erlang/OTP 驱动，Erlang/OTP 最初是爱立信为电信设备开发和设计的编程语言平台。正式介绍 EMQX 集群之前，我们首先来了解下什么是 Erlang/OTP。
image.png
emq集群文档（构建集群）

集群搭建（Docker Compose 方式）

EMQ X集群默认占用的Tcp端口如下：

端口说明
1883MQTT/TCP 协议端口
11883MQTT/TCP 协议内部端口，仅用于本机客户端连接
8883MQTT/SSL 协议端口
8083MQTT/WS 协议端口
8084MQTT/WSS 协议端口
8081管理 API 端口
18083Dashboard 端口
4369集群节点发现端口 (EPMD 模式)
4370集群节点发现端口
5370集群节点 PRC 通道

Docker Compose 是一个用于编排和运行多容器的工具，下面将指导您通过 Docker Compose 创建简单的 EMQX 静态集群用于测试。

  1. 在任意目录创建 docker-compose.yml 文件，内容如下：
version: '3'

services:
  emqx1:
    image: emqx:5.4.1
    container_name: emqx1
    environment:
    - "EMQX_NODE_NAME=emqx@node1.emqx.io"
    - "EMQX_CLUSTER__DISCOVERY_STRATEGY=static"
    - "EMQX_CLUSTER__STATIC__SEEDS=[emqx@node1.emqx.io,emqx@node2.emqx.io,emqx@node3.emqx.io]"
    healthcheck:
      test: ["CMD", "/opt/emqx/bin/emqx", "ctl", "status"]
      interval: 5s
      timeout: 25s
      retries: 5
    networks:
      emqx-bridge:
        aliases:
        - node1.emqx.io
    ports:
      - 1883:1883
      - 8083:8083
      - 8084:8084
      - 8883:8883
      - 18083:18083 
    # volumes:
    #   - $PWD/emqx1_data:/opt/emqx/data

  emqx2:
    image: emqx:5.4.1
    container_name: emqx2
    environment:
    - "EMQX_NODE_NAME=emqx@node2.emqx.io"
    - "EMQX_CLUSTER__DISCOVERY_STRATEGY=static"
    - "EMQX_CLUSTER__STATIC__SEEDS=[emqx@node1.emqx.io,emqx@node2.emqx.io,emqx@node3.emqx.io]"
    healthcheck:
      test: ["CMD", "/opt/emqx/bin/emqx", "ctl", "status"]
      interval: 5s
      timeout: 25s
      retries: 5
    networks:
      emqx-bridge:
        aliases:
        - node2.emqx.io
    # volumes:
    #   - $PWD/emqx2_data:/opt/emqx/data
    
  emqx3:
    image: emqx:5.4.1
    container_name: emqx3
    environment:
    - "EMQX_NODE_NAME=emqx@node3.emqx.io"
    - "EMQX_CLUSTER__DISCOVERY_STRATEGY=static"
    - "EMQX_CLUSTER__STATIC__SEEDS=[emqx@node1.emqx.io,emqx@node2.emqx.io,emqx@node3.emqx.io]"
    healthcheck:
      test: ["CMD", "/opt/emqx/bin/emqx", "ctl", "status"]
      interval: 5s
      timeout: 25s
      retries: 5
    networks:
      emqx-bridge:
        aliases:
        - node3.emqx.io
    # volumes:
    #   - $PWD/emqx3_data:/opt/emqx/data

networks:
  emqx-bridge:
    driver: bridge
  1. 通过命令行切换 docker-compose.yml 文件所在目录，然后输入以下命令启动 EMQX 集群：
docker-compose up -d
  1. 查看集群状态
docker exec -it emqx1 sh -c "emqx ctl cluster status"
Cluster status: #{running_nodes => ['emqx@node1.emqx.com','emqx@node2.emqx.com','emqx@node3.emqx.com'],
                  stopped_nodes => []}

image.png

  1. 其它方式构建emqx集群
    | 方式 | 说明 |
    | — | — |
    | manual | 手动命令创建集群 |
    | static | 静态节点列表自动集群 |
    | DNS | DNS A 记录自动集群 |
    | etcd | 通过 etcd 自动集群 |
    | K8s | Kubernetes 服务自动集群 |

集群负载均衡

负载均衡（Load Balancing）用于均衡多个网络组件的负载，从而优化资源的使用，避免由于组件过载造成故障。负载均衡虽然不是集群中的必备组件，但是能给集群带来一些非常有用的特性，例如当配置在 EMQX 集群中时，将能带来如下优势：

  • 均衡 EMQX 的负载，避免出现单节点过载的情况；
  • 简化客户端配置，客户端只需连接到负载均衡器上，无需关心集群内部伸缩变化；
  • TLS/SSL 终结，减轻 EMQX 集群的负担；
  • 提高安全性，有了负载均衡在集群前端，能够通过设置阻止不需要的流量，保护 EMQX 集群免受恶意攻击。

四层网络负载均衡

云服务clb直接负责处理TCP连接。并将接收到的 MQTT 连接和消息分发到不同的 EMQX 集群节点。部署架构的示意图：

emqx集群.png

云计算厂商是否支持 TLS 终结是否支持 Proxy ProtocolLB 产品介绍
华为云否否https://www.huaweicloud.com/product/elb.html
阿里云是是https://www.aliyun.com/product/slb
腾讯云是否https://cloud.tencent.com/product/clb

七层网络负责均衡

在 EMQX 前端部署 HAProxy 或 NGINX，由NGINX负责处理TCP连接。并将接收到的 MQTT 连接和消息分发到不同的 EMQX 集群节点。（如果想使用云服务商的 LB 作为连接和负载均衡层，但它不支持 TLS 终结或缺少某些 TLS 特性（如代理协议））
emqx集群 (2).png

开源 LB是否支持 TLS 终结是否支持 Proxy Protocol方案介绍
HAProxy是是https://www.haproxy.com/solutions/load-balancing.html
NGINX是是https://www.nginx.com/solutions/load-balancing/

注意：官网文档
用 NGINX 负载均衡 EMQX 集群
用 HAProxy 负载均衡 EMQX 集群

性能参考

我们测试了 EMQX 在几个典型场景下的性能变化曲线，我们可以直观地了解到 EMQX 在这些场景下的基准性能，以及 QoS 等级，Payload 大小这些因素对于 MQTT 性能的实际影响。
（性能测试数据来自官网）

测试环境

本章节的所有测试均基于单节点部署的 EMQX v5.1.6 开源版本 测得。EMQX 与 XMeter Cloud 创建了对等连接以消除外部网络延时的干扰。运行 EMQX 的服务器规格如下：

  • 实例类型：华为云通用计算增强型 c7
  • 规格名称：c7.xlarge.2
  • CPU：4vCPUs (Intel Xeon Platinum 8378A CPU @ 3.00GHz)
  • 内存：8 GiB
  • 硬盘：通用型 SSD | 40 GiB
  • 最大带宽：8 Gbit/s
  • 最大内网收发包：80万 PPS（Packets Per Second）
  • 操作系统：CentOS 7.9

除扇入场景下 XMeter Cloud 使用了 20 台测试机来发布和接收消息以外，其余场景下的测试机数量均为 10 台。

场景 1：EMQX 处理不同 QoS 时的性能表现

QoS 等级越高，对应的 MQTT 报文交互流程也越复杂，所以传递该 QoS 消息所消耗的系统资源也会更多。不同的 QoS 之间的性能差距到底如何，是开发者一直都很关心的问题。
在本场景中，1,000 个发布者和 1,000 个订阅者使用 Payload 大小为 128 字节的消息进行一对一通信。即，一共存在 1,000 个主题，但每个主题都只会有一个发布者和一个订阅者。

我们以逐渐增大消息发布速率的方式来增加负载，EMQX 在每个负载下运行 5 分钟以确保运行的稳定性。最终我们将获得 EMQX 在不同 QoS 等级，不同负载下的性能表现和资源占用情况，包括但不限于：平均消息延迟、P99 消息延迟、CPU 平均占用率。
最终测试结果如下：


Latency 指消息从发布到被接收所花费的时间。Throughput 包含消息流入与流出。
如果我们将平均 CPU 占用率在 75% 左右时的负载作为推荐的日常负载，那么可以得出：在当前的硬件规格以及测试场景下，QoS 0 的推荐负载约为 57K TPS，QoS 1 的推荐负载约为 40K TPS，QoS 2 的推荐负载约为 24K TPS。以下是 CPU 占用与 75% 最接近的测试点的性能数据：

QoS LevelRecommended Workload, TPS (In + Out)Average CPU Usage, % (1 - Idle)Average Memory Usage, %Average Letancy, msP99 Letancy, ms
QoS 060K78.136.272.0798.327
QoS 140K75.566.822.3569.485
QoS 220K69.066.392.0258.702

场景 2：EMQX 处理不同 Payload 大小时的性能表现

消息的 Payload 越大，操作系统需要更多的软中断来接收和发送网络报文，EMQX 也需要花费更多的计算资源来序列化和反序列化消息，因此理论上最终的性能表现也会越差。
在大部分情况下，我们发送的消息都不会超过 1KB，但在某些场景下，传输更大的消息是必要的。所以在这个场景中，我们将测试 Payload 大小对性能的实际影响。
继续由 1,000 个发布者和 1,000 个订阅者进行一对一通信，但是将消息的 QoS 设置为 1，且发布速率固定为 20K msgs/s，通过增加 Payload 大小的方式增加负载，EMQX 同样将在每个负载下运行 5 分钟以确保稳定，我们记录 EMQX 在每个负载下的性能表现和资源占用情况。
测试结果如下：


随着 Payload 增大，CPU 占用率逐渐升高，消息的端到端延迟也随之出现较为平滑的增长。不过在 Payload 大小到达 8KB 时，我们仍然可以获得小于 10 毫秒的平均延迟以及小于 20 毫秒的 P99 延迟。

Payload Size, KBRecommended Workload, TPS (In + Out)Average CPU Usage, % (1 - Idle)Average Memory Usage, %Average Letancy, msP99 Letancy, ms
140K75.96.233.28212.519
840K90.829.385.88417.435

所以，除了 QoS 等级以外，我们同样需要注意性能测试报告中使用的 Payload 大小，如果我们实际使用的 Payload 大小远远大于报告中使用的值，这意味着我们所需要的硬件规格也会更高。

场景 3：EMQX 在不同发布订阅模式下的性能表现

MQTT 的发布订阅机制使我们可以很轻松地调整消息的发布和订阅模式，来满足不同业务场景的需要，例如大量传感器设备作为发布者，少量甚至单个后端应用程序作为订阅者存储或分析传感器数据的这类扇入场景，或者消息广播这类少量发布者大量订阅者的扇出场景，又或者是发布者与订阅者需要一对一通信的对称场景。
但 MQTT Broker 在不同发布订阅模式下的性能表现通常也会存在细微的不同，接下来我们将通过实际的测试来验证这一点。
对称场景与前面保持一致。扇入场景下，我们设置 2,000 个发布者和 100 个订阅者，每 100 个发布者的消息由 5 个订阅者以共享订阅方式消费。

扇出场景下，我们设置 10 个发布者和 2,000 个订阅者，每个发布者的消息由 200 个订阅者以普通订阅方式消费。

由于扇出场景下消息流入相比其他两个场景更少，因此我们将总吞吐量一致或接近视为相同负载然后进行对比。例如扇出场景下消息流入 100 msgs/s，流出 20K msgs/s，便等同于对称场景下消息流入 10K msgs/s，流出 10K msgs/s。
保持消息的 QoS 等级为 1，Payload 大小为 128 字节，最终测试结果如下：

如果仅看消息延迟，三种场景的性能表现其实非常接近。但实际上在相同的负载下，扇出场景消耗的 CPU 总是更低。所以如果我们以 75% 的 CPU 占用率为界限，就能比较直观地看到，相比于另外两个场景，扇出可以达到更高的负载：

SceneRecommended Workload, TPS (In + Out)Average CPU Usage, % (1 - Idle)Average Memory Usage, %Average Letancy, msP99 Letancy, ms
Fan-In30K74.966.711.757.651
Fan-Out50K71.256.413.4938.614
Symmetric40K75.566.822.3569.485

场景 4：EMQX 在桥接时的性能表现

MQTT 桥接可以将一个 MQTT 服务器中的消息桥接至另一个服务器，常见的使用场景包括将边缘网关汇聚的消息桥接至云端服务器以及令消息在两个 MQTT 集群间流通。
在这个测试场景中，连接到 MQTT 服务器 1 的 500 个发布端发布的消息，会被桥接到 MQTT 服务器 2，被连接到该服务器的 500 个订阅端接收。而连接到 MQTT 服务器 2 的另外 500 个发布端 发布的消息，则会被连接到 MQTT 服务器 2 的 500 个订阅端接收。
这将保证在客户端的消息发布速率相同的情况下，EMQX 中消息流入流出的速率将与未配置桥接的对称场景接近，以便我们对比两者的性能差异。

保持消息的 QoS 等级为 1，Payload 大小为 128 字节，最终测试结果如下：


桥接在消息投递的过程中引入了一个额外的中转，所以消息的端到端延迟将会增加。另外，桥接也会带来额外的 CPU 消耗。我们的测试结果也印证了这两点。取平均 CPU 占用率在 75% 左右时的负载，即约 25K TPS 作为桥接场景在本次测试的硬件规格下的推荐负载，CPU 占用与之相差最小的测试点的测试结果如下：

Recommended Workload, TPS (In + Out)Average CPU Usage, % (1 - Idle)Average Memory Usage, %Average Letancy, msP99 Letancy, ms
30K82.095.65.54717.004

其它

关注公众号【 java程序猿技术】获取EMQX实践系列文章

EMQX物联网MQTT消息服务器集群搭建
爱新觉罗ZBC
04-15 7790
EMQX 是一款大规模可弹性伸缩的云原生分布式物联网 MQTT 消息服务器。 作为全球最具扩展性的 MQTT 消息服务器，EMQX 提供了高效可靠海量物联网设备连接，能够高性能实时移动与处理消息和事件流数据，帮助您快速构建关键业务的物联网平台与应用
EMQ X 集群部署
weixin_42023748的博客
07-28 1946
EMQ X消息服务器集群基于Erlang/OTPMQTT客户端订阅主题时，所在节点订阅成功后广播通知其他节点：某个主题(Topic)被本节点订阅。MQTT客户端发布消息时，所在节点会根据消息主题(Topic)，检索订阅并路由消息到相关节点。
MQTT 服务器(emqx)搭建及使用（一）
最新发布
ForKnowledgeMe的博客
04-01 1710
通过浏览器访问http://localhost:18083/（localhost 可替换为您的实际 IP 地址或输入127.0.0.1），如下图所示。在客户端授权中点击按钮创建认证，选择Password-Based认证（即用户名、密码认证）。输入默认账号“admin”和默认密码“public”，登录MQTT服务器后台管里界面。此时MQTT服务器可以随意连接，可增加验证密码来进行连接限制；创建批处理文件（.bat）中输入。（首次登录需修改密码，可跳过）将批处理文件放入自启动文件夹。
EMQX集群搭建
weixin_45625174的博客
06-14 1763
MQTT 具有广泛的语言支持，使其能够轻松与多个平台和技术进行集成，从而实现了物联网生态系统中的无缝通信和互操作性。客户端既可以向主题发布消息，也可以订阅接收特定主题上的消息，从而实现了物联网生态系统中的高效数据交换，而无需直接将设备耦合在一起。MQTT 支持多种 QoS 等级、会话感知和持久连接，即使在困难的条件下也能保证消息的可靠传递，使其非常适合物联网应用。MQTT 开销低、报文小的特点使其非常适合这些设备，因为它消耗更少的资源，即使在有限的能力下也能实现高效的通信。
EMQX 的集群搭建
houxian1103的博客
05-07 8452
概述： EMQX 集群配置 的搭建有几种方式，现在我们是所说是有两种方式，一种是静态方式，一种是动态方式。 环境准备： 由于条件有限我们准备了两台虚拟机。 192.168.31.159 centOS7 192.168.31.93 centOS7 分别安装 emqx-4.4.3-otp24.1.5-3-el7-amd64.zip 解压 第一种实现 static 方式 修改 etc/emqx.conf 文件 93 节点上 # 修改集群模式为 static cluster.discovery = static
中间件系列——EMQX 的集群搭建
热门推荐
ITLWJ的博客
04-06 1万+
上节我们介绍了 EMQX 的快速上手，但是如果想要将 EMQX 投入生产环境，我们还要考虑非常多的东西。这节我们就来让 EMQX 高可用，也就是集群搭建和负载均衡配置
【EMQX实践】EMQX 主题
qq_35701988的博客
07-20 2480
MQTT 主题本质上是一个 UTF-8 编码的字符串，是 MQTT 协议进行消息路由的基础。MQTT 主题类似 URL 路径，使用斜杠 / 进行分层：下面以设备//设备端product/deviceId/event/property/post // 发布 设备属性上报product/deviceId/service/property/set // 订阅 设备属性设置product/deviceId/service/property/set_reply // 发布 设备属性设置_响应//服务端。
emqx-mqtt.zip
03-23
标题 "emqx-mqtt.zip" 涉及到的是在 Kubernetes (k8s) 集群中部署 EMQ X Broker 的过程，EMQ X 是一个开源的 MQTT 消息服务器，广泛应用于物联网(IoT)场景。描述提到的是配置文件的集合，用于指导在 k8s 环境中搭建 ...
EMQX 4.0和EMQX 5.0集群架构实现1亿MQTT连接哪些改进
蜜獾互联网
03-14 1471
全新的底层架构使EMQX 5.0具备了更强的水平扩展能力，在构建满足业务需求的更大规模集群的同时，可以降低大规模部署下的脑裂风险以及脑裂后的影响，有效减少集群维护开销，提供更加稳定可靠的物联网数据接入服务。
docker emqx集群nginx
02-28
#### 使用Docker配置EMQX集群并结合Nginx的最佳实践 为了在 Docker 中成功配置 EMQX 集群并与 Nginx 结合使用，需遵循一系列具体操作指南。 #### 创建必要的数据卷用于持久化存储 创建专门的数据卷可以有效管理...
【EMQX集群部署秘籍】
![【EMQX集群部署秘籍】](https://docs.emqx.com/assets/EMQX-enterprise.6hy5OBWg.png) # 摘要 EMQX集群是一种高效的分布式消息代理...最后，文章通过具体的实战案例，展示了EMQX集群在不同场景下的应用价值和实践效
emqx-mqtt服务器集群搭建
紫幽酱的博客
01-24 2670
emqx有几个默认端口需要开放，tcp：1883，ws：8083，wss：8084，ssl：8883，这几个是可以修改的，也是可以在dashboard里设置。还有两个集群内通信端口4370，5370，这两个前三个数字默认不可以配置，集群通信端口一定要打开，不然部署了集群与负载均衡后，不在相同节点的客户端无法通信。您可以在 Nginx 的配置文件中添加以下配置来反向代理来自客户端的 MQTT 连接请求，将请求转发至后端 MQTT 服务器。这是默认的负载均衡策略，它将请求依次分配给每个后端服务器，循环往复。
emq集群
shirly的博客
09-17 520
操作系统:windows; emq插件:emqttd; emq的编译依赖于Erlang环境，请提前安装Erlang环境。 两台服务器:192.168.1.124;192.168.1.248; 1.修改emq.conf配置文件 192.168.1.124节点设置，打开配置文件 \emqttd\etc\emq.conf: 修改：node.name=emq@192.168.1.124 192.168.1.248节点设置，打开配置文件 \emqttd\etc\emq.conf 修改：n...
EMQX 跨域集群：增强可扩展性，打破地域限制
emqx_broker的博客
07-22 1316
通过跨域集群，单一地理位置的限制被打破，企业可以建立一个跨多云的全球 MQTT 接入网络，让 MQTT 消息得以在不同地区的节点之间自动同步和传输。
EMQX 实践
qq_35701988的博客
03-17 1329
任何新的订阅者订阅与该保留消息中的主题匹配的主题时，都会立即接收到该消息，即使这个消息是在它们订阅主题之前发布的。默认情况下，消息会被转发给所有匹配的订阅者。EMQX Dashboard 提供了开箱即用的认证与权限管理功能，用户仅通过用户界面，就可以快速实现客户端认证授权机制的配置，无需编写代码或手动编辑配置文件，即可对接各类数据源与认证服务，实现各个级别与各类场景下的安全配置，以更高的开发效率获得更安全的保障。在发布消息的客户端和订阅的客户端之间充当中介，将所有接收到的消息转发到匹配的订阅客户端。
EMQ集群搭建实现高可用和负载均衡(百万级设备连接)
无名小生
04-12 1884
一．EMQ集群搭建实现高可用和负载均衡 架构服务器规划 二．架构图 三．EMQ集群搭建 192.168.81.13 , 192.168.81.22 , 192.168.81.23 三台服务器作为emq集成服务器，三台都部署emqttd服务 3.1 环境安装 https://www.erlang-solutions.com/resources/download.html;https://github.com/rabbitmq/erlang-rpm/releases （erlang下载） yum -y r
Centos7 EMQ集群搭建
专注基础架构领域
06-15 4729
项目组主要是做IOT的，需要搭建EMQ集群来连接边缘设备到云端 5G 时代,万物互联消息引擎 | EMQ EMQ的搭建比较简单，在此记录一下便于日后查阅。 一、EMQ简介 EMQ X(Erlang/Enterprise/Elastic MQTT Broker) 是基于 Erlang/OTP 平台开发的开源物联网 MQTT 消息服务器。Erlang/OTP 是出色的软实时(Soft-Rea...
emqx 集群搭建
yinjl123456的博客
11-15 2765
emqx 集群搭建 官方集群搭建地址: https://docs.emqx.cn/broker/v4.3/getting-started/cluster.html#%E8%8A%82%E7%82%B9%E5%8F%91%E7%8E%B0%E4%B8%8E%E8%87%AA%E5%8A%A8%E9%9B%86%E7%BE%A4 环境准备 192.168.1.17 centOS7 192.168.1.18 centOS7 192.168.1.19 centOS7 配置 emqx broker安装 下载好emqx
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

后端马农

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值