MQTT协议基础讲义

a_安徒生

于 2024-04-25 16:30:15 发布

阅读量1.5k

点赞数 54

分类专栏： emqx 文章标签：网络协议涛思数据能源

本文链接：https://blog.csdn.net/qq_46129710/article/details/138193022

版权

emqx 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

MQTT基础

第一章 MQTT协议

1. MQTT协议介绍

随着 5G 时代的来临，万物物联的伟大构想正在成为现实。联网的物联网设备在 2018 年已经达到了 70 亿，

在未来两年，仅智能水电气表就将超过10亿

AgAACHyVHcMlzowxJS5IPpnroJprXG0F

海量的设备接入和设备管理对网络带宽、通信协议以及平台服务架构都带来了很大挑战。对于物联网协议来说，必须针对性地解决物联网设备通信的几个关键问题：其网络环境复杂而不可靠、其内存和闪存容量小、其处理器能力有限。

MQTT 是基于 Publish/Subscribe 模式的物联网通信协议，凭借简单易实现、支持 QoS、报文小等特点，占据了物联网协议的半壁江山：

mqtt趋势图

mqtt官网：http://mqtt.org/

mqtt中文网：http://mqtt.p2hp.com/

1.1 MQTT简介

MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅

（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设备、移动应用等方面有较广泛的应用。

MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的，这些特点使它适用范围非常广泛。在很多情况下，包括受限的环境中，如：机器与机器（M2M）通信和物联网（IoT）。其在，通过卫星链路通信传感器、偶尔拨号的医疗设备、智能家居、及一些小型化设备中已广泛使用。

AgAACHyVHcNa6ZqtVBVCO6S2dyGtbMiC

1.2 MQTT协议设计规范

由于物联网的环境是非常特别的，所以MQTT遵循以下设计原则：

（1）精简，不添加可有可无的功能；

（2）发布/订阅（Pub/Sub）模式，方便消息在传感器之间传递，解耦Client/Server模式，带来的好处在于不必预先知道对方的存在（ip/port），不必同时运行；

（3）允许用户动态创建主题（不需要预先创建主题），零运维成本；

（4）把传输量降到最低以提高传输效率；

（5）把低带宽、高延迟、不稳定的网络等因素考虑在内；

（6）支持连续的会话保持和控制（心跳）；

（7）理解客户端计算能力可能很低；

（8）提供服务质量（ quality of service level：QoS）管理；

（9）不强求传输数据的类型与格式，保持灵活性（指的是应用层业务数据）。

1.3 MQTT协议主要特性

MQTT协议工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议，它具有以下主要的几项特性：

（1）开放消息协议，简单易实现。

（2）使用发布/订阅消息模式，提供一对多的消息发布，解除应用程序耦合。

（3）对负载（协议携带的应用数据）内容屏蔽的消息传输。

（4）基于TCP/IP网络连接,提供有序，无损，双向连接。

主流的MQTT是基于TCP连接进行数据推送的，但是同样有基于UDP的版本，叫做MQTT-SN。这两种版本由于基于不同的连接方式，优缺点自然也就各有不同了。

（5）消息服务质量（QoS）支持，可靠传输保证；有三种消息发布服务质量：QoS0：“至多一次”，消息发布完全依赖底层TCP/IP网络。会发生消息丢失或重复。这一级别可用于如下情况，环境传感器数据，丢失一次读记录无所谓，因为不久后还会有第二次发送。这一种方式主要普通APP的推送，倘若你的智能设备在消息推送时未联网，推送过去没收到，再次联网也就收不到了。

QoS1：“至少一次”，确保消息到达，但消息重复可能会发生。

QoS2：“只有一次”，确保消息到达一次。在一些要求比较严格的计费系统中，可以使用此级别。在计费系统中，消息重复或丢失会导致不正确的结果。这种最高质量的消息发布服务还可以用于即时通讯类的APP的推送，确保用户收到且只会收到一次。

（6）1字节固定报头，2字节心跳报文，最小化传输开销和协议交换，有效减少网络流量。这就是为什么在介绍里说它非常适合"在物联网领域，传感器与服务器的通信，信息的收集，要知道嵌入式设备的运算能力和带宽都相对薄弱，使用这种协议来传递消息再适合不过了。

（7）在线状态感知：使用Last Will和Testament特性通知有关各方客户端异常中断的机制。

Last Will：即遗言机制，用于通知同一主题下的其他设备，发送遗言的设备已经断开了连接。

Testament：遗嘱机制，功能类似于Last Will。

1.4 MQTT协议应用领域

MQTT协议广泛应用于物联网、移动互联网、智能硬件、车联网、电力能源等领域。

物联网M2M通信，物联网大数据采集

Android消息推送，WEB消息推送

移动即时消息，例如Facebook Messenger

智能硬件、智能家具、智能电器

车联网通信，电动车站桩采集

智慧城市、远程医疗、远程教育

电力、石油与能源等行业市场

2. MQTT协议原理

2.1 MQTT协议实现方式

实现MQTT协议需要客户端和服务器端通讯完成，在通讯过程中，MQTT协议中有三种身份：发布者（Publish）、代理（Broker）（服务器）、订阅者（Subscribe）。其中，消息的发布者和订阅者都是客户端，消息代理是服务器，消息发布者可以同时是订阅者。

MQTT传输的消息分为：主题（Topic）和负载（payload）两部分：

（1）Topic，可以理解为消息的类型，订阅者订阅（Subscribe）后，就会收到该主题的消息内容（payload）；

（2）payload，可以理解为消息的内容，是指订阅者具体要使用的内容。

2.2 网络传输与应用消息

MQTT会构建底层网络传输：它将建立客户端到服务器的连接，提供两者之间的一个有序的、无损的、基于字节流的双向传输。当应用数据通过MQTT网络发送时，MQTT会把与之相关的服务质量（QoS）和主题名（Topic）相关连。

2.3 MQTT客户端

一个使用MQTT协议的应用程序或者设备，它总是建立到服务器的网络连接。客户端可以：

（1）发布其他客户端可能会订阅的信息；

（2）订阅其它客户端发布的消息；

（3）退订或删除应用程序的消息；

（4）断开与服务器连接。

2.4 MQTT服务器端

MQTT服务器以称为"消息代理"（Broker），可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间，它可以：

（1）接受来自客户的网络连接；

（2）接受客户发布的应用信息；

（3）处理来自客户端的订阅和退订请求；

（4）向订阅的客户转发应用程序消息。

2.5 发布/订阅、主题、会话

MQTT 是基于 发布(Publish)/订阅(Subscribe) 模式来进行通信及数据交换的，与 HTTP 的 请求(Request)/应答(Response) 的模式有本质的不同。

订阅者(Subscriber) 会向 消息服务器(Broker) 订阅一个 主题(Topic) 。成功订阅后，消息服务器会将该主题下的消息转发给所有的订阅者。主题(Topic)以 ‘/’ 为分隔符区分不同的层级。包含通配符 ‘+’ 或 ‘#’ 的主题又称为 主题过滤器(TopicFilters); 不含通配符的称为 主题名(Topic Names) 例如:

chat/room/1
sensor/10/temperature
sensor/+/temperature
$SYS/broker/metrics/packets/received
$SYS/broker/metrics/#

'+': 表示通配一个层级，例如a/+，匹配a/x, a/y
'#': 表示通配多个层级，例如a/#，匹配a/x, a/b/c/d
注: ‘+’ 通配一个层级，’#’ 通配多个层级(必须在末尾)。

发布者(Publisher) 只能向 ‘主题名’ 发布消息，订阅者(Subscriber) 则可以通过订阅 ‘主题过滤器’ 来通配多个主题名称。

会话（Session）

每个客户端与服务器建立连接后就是一个会话，客户端和服务器之间有状态交互。会话存在于一个网络之间，也可能在客户端和服务器之间跨越多个连续的网络连接。

chat/room/1 
sensor/10/temperature 
sensor/+/temperature 
$SYS/broker/metrics/packets/received 
$SYS/broker/metrics/# 
'+': 表示通配一个层级，例如a/+，匹配a/x, a/y 
'#': 表示通配多个层级，例如a/#，匹配a/x, a/b/c/d 
注: ‘+’ 通配一个层级，’#’ 通配多个层级(必须在末尾)。

2.6 MQTT协议中的方法

MQTT协议中定义了一些方法（也被称为动作），来于表示对确定资源所进行操作。这个资源可以代表预先存在的数据或动态生成数据，这取决于服务器的实现。通常来说，资源指服务器上的文件或输出。主要方法有：

（1）CONNECT：客户端连接到服务器

（2）CONNACK：连接确认

（3）PUBLISH：发布消息

（4）PUBACK：发布确认

（5）PUBREC：发布的消息已接收

（6）PUBREL：发布的消息已释放

（7）PUBCOMP：发布完成

（8）SUBSCRIBE：订阅请求

（9）SUBACK：订阅确认

（10）UNSUBSCRIBE：取消订阅

（11）UNSUBACK：取消订阅确认

（12）PINGREQ：客户端发送心跳

（13）PINGRESP：服务端心跳响应

（14）DISCONNECT：断开连接

（15）AUTH：认证

3. MQTT协议数据包结构

在MQTT协议中，一个MQTT数据包由：固定头（Fixed header）、可变头（Variable header）、消息体（payload）三部分构成。MQTT数据包结构如下：

mqtt数据包

（1）固定头（Fixed header）。存在于所有MQTT数据包中，表示数据包类型及数据包的分组类标识，如连接，发布，订阅，心跳等。其中固定头是必须的，所有类型的MQTT协议中，都必须包含固定头。

（2）可变头（Variable header）。存在于部分MQTT数据包中，数据包类型决定了可变头是否存在及其具体内容。可变头部不是可选的意思，而是指这部分在有些协议类型中存在，在有些协议中不存在。

（3）消息体（Payload）。存在于部分MQTT数据包中，表示客户端收到的具体内容。与可变头一样，在有些协议类型中有消息内容，有些协议类型中没有消息内容。

3.1 固定头（Fixed header）

mqtt固定头

剩余长度包含可变报文头，报文体固定头存在于所有MQTT数据包中，固定头包含两部分内容，首字节(字节1)和剩余消息报文长度(从第二个字节开始，长度为1-4字节)，剩余长度是当前包中剩余内容长度的字节数，包括变量头和有效负载中的数据）。剩余长度不包含用来编码剩余长度的字节。

剩余长度使用了一种可变长度的结构来编码，这种结构使用单一字节表示0-127的值。大于127的值如下处理。每个字节的低7位用来编码数据，最高位用来表示是否还有后续字节。因此每个字节可以编码128个值，再加上一个标识位。剩余长度最多可以用四个字节来表示。

10000001 首位1代表还有

11111000

00001010 首位0代表没有

数据包类型

位置：第一个字节(Byte 1) 中的7-4个bit位(Bit[7-4])，表示4位无符号值通过第一个字节的高4位确定消息报文的类型，4个bit位能确定16种类型，其中0000和1111是保留字段。

MQTT消息报文类型如下：

mqtt消息报文类型

标志位

位置：第一个字节中的0-3个bit位(Bit[3-0])。意思是字节位Bit[3-0]用作报文的标识。

首字节的低4位(bit3~bit0)用来表示某些报文类型的控制字段，实际上只有少数报文类型有控制位，如下图：

mqtt标志位1

（1）：其中Bit[3]为DUP字段，如果该值为1，表明这个数据包是一条重复的消息；否则该数据包就是第一次发布的消息。

（2）：Bit[2-1]为Qos字段：

如果Bit 1和Bit 2都为0，表示QoS 0：至多一次；

如果Bit 1为1，表示QoS 1：至少一次；

如果Bit 2为1，表示QoS 2：只有一次；

如果同时将Bit 1和Bit 2都设置成1，那么客户端或服务器认为这是一条非法的消息，会关闭当前连接。

目前Bit[3-0]只在PUBLISH协议中使用有效，并且表中指明了是MQTT 3.1.1版本。对于其它MQTT协议版本，内容可能不同。所有固定头标记为"保留"的协议类型，Bit[3-0]必须保持与表中保持一致，如SUBSCRIBE 协议，其Bit 1必须为1。如果接收方接收到非法的消息，会强行关闭当前连接。

MQTT 消息 QoS

MQTT发布消息服务质量保证（QoS）不是端到端的，是客户端PUBLISHER与服务器之间的。订阅者收到MQTT消息的QoS级别，最终取决于发布消息的QoS和主题订阅的QoS。

QoS级别

Qos0消息发布订阅（至多一次，服务端推送消息一次至订阅者，无论订阅者是否在线，不在线就收不到数据）

QoS0消息发布订阅

Qos1消息发布订阅（至少一次，服务端发送数据至订阅者，如果订阅者在线就会收到数据，不在线可能会重复发送信息）

QoS1消息发布订阅

Qos2消息发布订阅（保证订阅者只会收到一次）

QoS2消息发布订阅

（3）：Bit[0]为RETAIN字段，发布保留标识，表示服务器要保留这次推送的信息，如果有新的订阅者出现，就把这消息推送给它，如果设有那么推送至当前订阅者后释放。

3.2 可变头(Variable Header)

可变头的意思是可变化的消息头部。有些报文类型包含可变头部有些报文则不包含。可变头部在固定头部和消息内容之间，其内容根据报文类型不同而不同。

可变头

协议名

协议名是表示协议名MQTT的UTF-8编码的字符串。MQTT规范的后续版本不会改变这个字符串的偏移和长度。

协议名

支持多种协议的服务端使用协议名字段判断数据是否为MQTT报文。协议名必须是UTF-8字符串“MQTT”。如果服务端不愿意接受CONNECT但希望表明其MQTT服务端身份，可以发送包含原因码为 0x84（不支持的协议版本）的CONNACK报文，然后必须关闭网络连接 .

协议版本

位无符号值表示客户端的版本等级。3.1.1版本的协议等级是4，MQTT v5.0的协议版本字段为5（0x05）

MQTT 会话 (Clean Session)

MQTT客户端向服务器发起CONNECT请求时，可以通过’Clean Session’标志设置会话。

‘Clean Session’设置为0，表示创建一个持久会话，在客户端断开连接时，会话仍然保持并保存离线消息，直到会话超时注销。

‘Clean Session’设置为1，表示创建一个新的临时会话，在客户端断开时，会话自动销毁。

Will Flag/Will Qos/Will Retain

如果Will Flag被设置为1，这意味着，如果连接请求被接受，服务端必须存储一个Will Message，并和网络连接关联起来。之后在网络连接断开的时候必须发布Will Message，除非服务端收到DISCONNECT包删掉了Will Message,Will Message会在某些情况下发布，包括但不限于：

● 服务端发现I/O错误或网络失败。

● 客户端在Keep Alive时间内通信失败。

● 客户端没有发送DISCONNECT包就关闭了网络连接。

● 服务端因协议错误关闭了网络连接。

如果Will Flag被设置为1，连接标识中的Will QoS和Will Retain字段将会被服务端用到Will QoS这两个bit表示发布Will Message时使用QoS的等级，Will Retain这个bit表示Will Message在发布之后是否需要保留。

如果Will Flag设置为0，那么Will Retain必须是0

如果Will Flag设置为1：

● 如果Will Retain设置为0，那么服务端必须发布Will Message，不必保存

● 如果Will Retain设置为1，那么服务端必须发布Will Message，并保存

User Name Flag

如果User Name Flag设置为0，那么用户名不必出现在载荷中

如果User Name Flag设置为1，那么用户名必须出现在载荷中

Password Flag

如果Password Flag设置为0，那么密码不必出现在载荷中

如果Password Flag设置为1，那么密码必须出现在载荷中

如果User Name Flag设置为0，那么Password Flag必须设置为0

MQTT连接保活心跳

心跳的作用：

PINGREQ包从客户端发往服务端，可以用来：
1：在没有其他控制包从客户端发送给服务端的时候，告知服务端客户端的存活状态。
2：请求服务端响应，来确认服务端是否存活。
3：确认网络连接的有效性。
PINGRESP包从服务端发送给客户端来响应PINGREQ包。它代表服务端是存活的

MQTT客户端向服务器发起CONNECT请求时，通过KeepAlive参数设置保活周期。

Keep Alive是以秒为单位的时间间隔。用2字节表示，它指的是客户端从发送完成一个控制包到开始发送下一个的最大时间间隔。客户端有责任确保两个控制包发送的间隔不能超过Keep Alive的值。如果没有其他控制包可发，客户端必须发送PINGREQ包。

客户端可以在任何时间发送PINGREQ包，不用关心Keep Alive的值，用PINGRESP来判断与服务端的网络连接是否正常。

如果Keep Alive的值非0，而且服务端在一个半Keep Alive的周期内没有收到客户端的控制包，服务端必须作为网络故障断开网络连接。

如果客户端在发送了PINGREQ后，在一个合理的时间都没有收到PINGRESP包，客户端应该关闭和服务端的网络连接。

Keep Alive的值为0，就关闭了维持的机制。这意味着，在这种情况下，服务端不会断开静默的客户端。

MQTT 遗愿消息 (Last Will)

MQTT客户端向服务器端CONNECT请求时，可以设置是否发送遗愿消息(Will Message)标志，和遗愿消息主题(Topic)与内容(Payload)。

MQTT客户端异常下线时(客户端断开前未向服务器发送DISCONNECT消息)，MQTT消息服务器会发布遗愿消息。

常见的一种可变头比如：Packet Identififier (消息 ID)

一个消息ID包含2字节，高字节在前，低字节在后。包含Packet Identififier的协议类型包括：

PUBLISH( QoS > 0 )、 PUBACK 、 PUBREC 、 PUBREL 、 PUBCOMP 、 SUBSCRIBE 、 SUBACK 、 UNSUBSCRIBE 、 UNSUBACK

消息ID默认是从1开始并自增，如果一个消息ID被用完后，这个消息ID可以被重用。对于PUBLISH (QoS 1)来说，如果发送端接收到PUBACK，那么这个消息ID就用完了。对于PUBLISH(QoS 2)，如果接收方收到PUBCOMP，那么这个消息ID就用完了。对于SUBSCRIBE和UNSUBSCRIBE，消息ID使用完成的标记是发送方收到了对应的 SUBACK和UNSUBACK。

另外客户端和服务端的消息ID是独立分配的，客户端和服务端可以同时使用同一个消息ID。