aws SQS 工作原理

亚马逊SQS的基本架构

分布式队列

分布式消息系统有三个主要部分：你的分布式系统的组件，你的队列（分布在Amazon SQS服务器上），以及队列中的消息。
在下面的场景中，你的系统有几个生产者（向队列发送消息的组件）和消费者（从队列接收消息的组件）。队列（持有消息A到E）在多个Amazon SQS服务器上冗余地存储消息。

信息生命周期

以下场景描述了Amazon SQS消息在队列中的生命周期，从创建到删除。

一个生产者（组件1）将消息A发送到一个队列，消息被冗余地分布在Amazon SQS服务器上。
当消费者（组件2）准备好处理消息时，它从队列中消费消息，然后消息A被返回。当消息A被处理时，它仍然在队列中，在可见性超时的时间内不会返回给后续的接收请求。
消费者（组件2）从队列中删除消息A，以防止在可见性超时结束时再次接收和处理该消息。
注意事项
Amazon SQS会自动删除在队列中超过最大消息保留期的消息。默认的消息保留期是4天。然而，您可以使用SetQueueAttributes动作将消息保留期设置为60秒到1,209,600秒（14天）的数值。

亚马逊SQS标准队列

亚马逊SQS提供标准作为默认队列类型。标准队列支持每秒钟对每个API动作（SendMessage、ReceiveMessage或DeleteMessage）的API调用次数几乎没有限制。标准队列支持至少一次的消息传递。然而，偶尔（由于高度分布式架构允许几乎无限的吞吐量），一个消息的多个副本可能会不按顺序交付。标准队列提供了尽力而为的排序，这确保了消息通常是按照它们被发送的相同顺序交付。
有关如何使用Amazon SQS控制台创建和配置队列的信息，请参阅创建Amazon SQS队列（控制台）。关于Java例子，请看Amazon SQS Java SDK例子。
你可以在许多情况下使用标准的消息队列，只要你的应用程序能够处理不止一次到达的消息，并且不按顺序，例如：
1.将实时用户请求与密集的后台工作解耦 - 让用户在上传媒体的同时调整其大小或进行编码。
2.将任务分配给多个工作节点 - 处理大量的信用卡验证请求。
3.批量信息以便将来处理 - 安排多个条目添加到数据库。

消息排序

标准队列会尽最大努力保持消息的顺序，但一份以上的消息可能会不按顺序传递。如果你的系统要求保留顺序，我们建议使用先进先出（FIFO）队列或在每个消息中添加排序信息，这样你就可以在收到消息时重新排序。

最少一次的交付

Amazon SQS在多个服务器上存储您的消息副本，以实现冗余和高可用性。在少数情况下，当您收到或删除消息时，存储消息副本的服务器之一可能无法使用。
如果发生这种情况，信息的副本不会在那个不可用的服务器上被删除，当你收到信息时，你可能会再次得到那个信息副本。把你的应用程序设计成空闲的（当处理同一消息超过一次时，它们不应该受到不利影响）。
# 亚马逊SQS队列和消息标识符

队列名称和URL

当您创建一个新的队列时，您必须为您的AWS帐户和地区指定一个独特的队列名称。Amazon SQS为您创建的每个队列分配一个标识符，称为队列URL，其中包括队列名称和其他Amazon SQS组件。每当你想对一个队列执行一个动作时，你就提供它的队列URL。
FIFO队列的名称必须以.fifo后缀结尾。后缀计入80个字符的队列名称配额。要确定一个队列是否是先进先出，你可以检查队列名称是否以后缀结尾。
下面是一个名为MyQueue的队列的队列URL，该队列由AWS账号为123456789012的用户拥有。

https://sqs.us-east-2.amazonaws.com/123456789012/MyQueue

你可以通过列举你的队列并解析帐号后面的字符串，以编程方式检索队列的URL。欲了解更多信息，请参见ListQueues。

消息ID

每条消息都会收到一个系统分配的消息ID，Amazon SQS会在SendMessage响应中返回给你。这个标识符对于识别消息很有用。(然而，要删除一条消息，你需要该消息的接收句柄。) 消息ID的最大长度是100个字符。

接收句柄

每次你从队列中收到一条消息，你都会收到该消息的一个接收句柄。这个句柄与接收消息的动作相关，而不是与消息本身相关。要删除消息或改变消息的可见性，你必须提供接收柄（而不是消息ID）。因此，在删除消息之前，你必须总是收到一条消息（你不能把一条消息放入队列，然后再调用它）。接收句柄的最大长度是1,024个字符。

重复数据删除的消息ID

用于重复计算已发送消息的令牌。如果一个具有特定消息重复编码的消息被成功发送，任何具有相同消息重复编码的消息都会被成功接受，但在5分钟的重复编码间隔内不会被交付。

消息组ID

指定消息属于特定消息组的标签。属于同一消息组的消息总是按照相对于消息组的严格顺序逐一处理（但是，属于不同消息组的消息可能会不按顺序处理）。

序列号

亚马逊SQS分配给每个消息的大的、非连续的数字。

信息元数据

亚马逊SQS消息属性

Amazon SQS允许您使用消息属性将结构化的元数据（如时间戳、地理空间数据、签名和标识符）与消息包括在一起。每条消息最多可以有10个属性。消息属性是可选的，并与消息正文分开（然而，它们会与消息正文一起发送）。你的消费者可以使用消息属性以特定的方式处理一条消息，而不必先处理消息正文。

信息属性组件

每个消息属性由以下部分组成。

1.名称 - 消息属性名称可以包含以下字符。A-Z、a-z、0-9、下划线（_）、连字符（-）和句号（.）。以下限制适用。
最长可以是256个字符
不能以AWS.或Amazon.开头。(或任何大小写变化)
是区分大小写的
在信息的所有属性名称中必须是唯一的
不能以句号开始或结束
在一个序列中不能有句号

2.类型 - 消息属性的数据类型。支持的类型包括字符串、数字和二进制。你也可以为任何数据类型添加自定义信息。数据类型具有与消息主体相同的限制（更多信息，请参见《亚马逊简单队列服务API参考》中的SendMessage）。此外，还适用以下限制。
最长可以达到256个字符
是区分大小写的

3.Value - 消息的属性值。对于字符串数据类型，属性值具有与消息正文相同的限制。

信息属性数据类型

消息属性数据类型指示Amazon SQS如何处理相应的消息属性值。例如，如果类型是Number，Amazon SQS就会验证数字值。
Amazon SQS支持逻辑数据类型String、Number和Binary，并有可选的自定义数据类型标签，格式为.custom-data-type
String - 字符串属性可以使用任何有效的XML字符存储Unicode文本。
Number - Number属性可以存储正数或负数的数值。一个数字可以有多达38位的精度，它可以在10^-128和10+126之间。
二进制 - 二进制属性可以存储任何二进制数据，如压缩数据、加密数据或图像。
自定义 - 要创建一个自定义数据类型，在任何数据类型上附加一个自定义类型标签。例如。
Number.byte, Number.short, Number.int, and Number.float可以帮助区分数字类型。
Binary.gif和Binary.png可以帮助区分文件类型。

计算消息属性的MD5消息摘要

如果您使用AWS SDK for Java，您可以跳过本节。Java版SDK的MessageMD5ChecksumHandler类支持亚马逊SQS消息属性的MD5消息摘要。
如果您使用查询API或AWS SDK中的一个不支持Amazon SQS消息属性的MD5消息摘要，您必须使用以下指南来执行MD5消息摘要计算。

概述
以下是对MD5消息摘要计算算法的概述。
1.按名称升序对所有消息属性进行排序。
2.将每个属性的单独部分（名称、类型和值）编码到一个缓冲区。
3.计算整个缓冲区的消息摘要。

下图显示了单个消息属性的MD5消息摘要的编码情况。

要对一个单一的Amazon SQS消息属性进行编码
1.编码名称：长度（4字节）和名称的UTF-8字节。
2.编码数据类型：长度（4字节）和数据类型的UTF-8字节。
3.对值的传输类型（字符串或二进制）进行编码（1个字节）。
a.对于字符串传输类型，编码为1。
b.对于二进制传输类型，编码为2。
4.编码属性值。
a.对于字符串传输类型，对属性值进行编码：长度（4个字节）和该值的UTF-8字节。
b.对于二进制传输类型，对属性值进行编码：长度（4字节）和值的原始字节。