1 交换机
在之前的文章中,我们创建了一个工作队列。我们假设的是工作队列背后,每个任务都恰好交付给一个消费者(工作进程)。在这一部分中,我们将做一些完全不同的事情-我们将消息传达给多个消费者。这种模式称为 ”发布/订阅”。
为了说明这种模式,我们将构建一个简单的日志系统。它将由两个程序组成:第一个程序将发出日志消息,第二个程序是消费者。其中我们会启动两个消费者,其中一个消费者接收到消息后把日志存储在磁盘,另外一个消费者接收到消息后把消息打印在屏幕上,事实上第一个程序发出的日志消息将广播给所有消费者。
1.1 Exchanges
1.1.1 Exchanges 的概念
RabbitMQ 消息传递模型的核心思想是: 生产者生产的消息从不会直接发送到队列。实际上,通常生产者甚至都不知道这些消息传递传递到了哪些队列中。
相反,生产者只能将消息发送到交换机(exchange),交换机工作的内容非常简单,一方面它接收来自生产者的消息,另一方面将它们推入队列。交换机必须确切知道如何处理收到的消息。是应该把这些消息放到特定队列还是说把他们到许多队列中还是说应该丢弃它们。这就的由交换机的类型来决定。
1.1.2 Exchanges 的类型
总共有以下类型:
- direct(直接类型)
- topic(主题)
- headers(标题)
- fanout(扇出)
1.1.3 无名exchange
在前面部分我们对 exchange 一无所知,但仍然能够将消息发送到队列。之前能实现的原因是因为我们使用的是默认交换,我们通过空字符串("")进行标识。
第一个参数是交换机的名称。空字符串表示默认或无名称交换机:消息能路由发送到队列中其实是由 routingKey(bindingkey)绑定 key 指定的,如果它存在的话。
1.2 临时队列
之前我们使用的是具有特定名称的队列(还记得 hello 和 ack_queue 吗?)。队列的名称我们来说至关重要,我们需要指定我们的消费者去消费哪个队列的消息。
每当我们连接到 Rabbit 时,我们都需要一个全新的空队列,为此我们可以创建一个具有随机名称的队列,或者能让服务器为我们选择一个随机队列名称那就更好了。其次一旦我们断开了消费者的连接,队列将被自动删除。
创建临时队列的方式如下:
String queueName = channel.queueDeclare().getQueue();
创建出来之后长成这样:
1.3 绑定(bindings)
什么是 bingding 呢,binding 其实是 exchange 和 queue 之间的桥梁,它告诉我们 exchange 和那个队列进行了绑定关系。比如说下面这张图告诉我们的就是 X 与 Q1 和 Q2 进行了绑定
下面用到的工具类代码
public class RabbitMQUtils {
/**
* 得到一个连接的Channel
*/
public static Channel getChannel() throws IOException, TimeoutException {
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("127.0.0.1");
factory.setUsername("guest");
factory.setPassword("guest");
Connection connection = factory.newConnection();
return connection.createChannel();
}
}
1.4 Fanout
1.4.1 Fanout 介绍
Fanout 这种类型非常简单。正如从名称中猜到的那样,它是将接收到的所有消息广播到它知道的所有队列中。系统中默认有些 exchange 类型
1.4.2 Fanout 实战
上图的意思是:一个type为fanout的交换机logs,绑定了两个临时队列
1.4.2.1 EmitLog 代码
public class EmitLog {
//交换机的名称
private static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.FANOUT, false, true, null);
Scanner scanner = new Scanner(System.in);
while (scanner.hasNext()) {
String message = scanner.nextLine();
channel.basicPublish(EXCHANGE_NAME, "", null, message.getBytes(StandardCharsets.UTF_8));
System.out.println("生产者发出消息" + message);
}
}
}
1.4.2.2 ReceiveLogs01 代码
ReceiveLogs01 将接收到的消息打印在控制台
public class ReceiveLogs01 {
//交换机的名称
private static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
//声明一个临时队列
/**
* 生成一个临时队列,队列名称是随机的
* 当消费者断开与队列的时候,这个队列就删除了
*/
String queueName = channel.queueDeclare().getQueue();
/**
* 绑定交换机与队列
*/
channel.queueBind(queueName, EXCHANGE_NAME, "");
System.out.println("ReceiveLogs01等待接收消息,把接收到的消息打印在屏幕上......");
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println(new String(message.getBody(), StandardCharsets.UTF_8));
};
CancelCallback cancelCallback = consumerTag -> {
System.out.println("ReceiveLogs01消息接收中断的回调接口");
};
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
}
}
1.4.2.3 ReceiveLogs02 代码
ReceiveLogs02 将接收到的消息存储在磁盘
public class ReceiveLogs02 {
//交换机的名称
private static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
//声明一个临时队列
String queueName = channel.queueDeclare().getQueue();
/**
* 绑定交换机与队列
*/
channel.queueBind(queueName, EXCHANGE_NAME, "");
System.out.println("ReceiveLogs02等待接收消息,将接收到的消息存储在磁盘......");
DeliverCallback deliverCallback = (consumerTag, message) -> {
//存储在磁盘的操作即可。。。
System.out.println("存储磁盘:" + new String(message.getBody(), StandardCharsets.UTF_8));
};
CancelCallback cancelCallback = consumerTag -> {
System.out.println("ReceiveLogs02消息接收中断的回调接口");
};
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
}
}
1.4.2.4 效果演示
很明显,fanout模式下就是广播的意思,即使添加了routingkey也没用
1.5 Direct
1.5.1 Direct 介绍
上面我们的日志系统将所有消息广播给所有消费者,对此我们想做一些改变,例如我们希望将日志消息写入磁盘的程序仅接收严重错误(error),而不存储哪些警告(warning)或信息(info)日志消息避免浪费磁盘空间。Fanout 这种交换类型并不能给我们带来很大的灵活性-它只能进行无意识的广播,在这里我们将使用 direct 这种类型来进行替换,这种类型的工作方式是,消息只去到它绑定的routingKey 队列中去。
在上面这张图中,我们可以看到 X 绑定了两个队列,绑定类型是 direct。队列 Q1 绑定键为 orange,队列 Q2 绑定键有两个:一个绑定键为 black,另一个绑定键为 green.
在这种绑定情况下,生产者发布消息到 exchange 上,绑定键为 orange 的消息会被发布到队列Q1。绑定键为 black 和 green 的消息会被发布到队列 Q2,其他消息类型的消息将被丢弃。
1.5.2 多重绑定
当然如果 exchange 的绑定类型是 direct,但是它绑定的多个队列的 key 如果都相同,在这种情况下虽然绑定类型是 direct 但是它表现的就和 fanout 有点类似了,就跟广播差不多,如上图所示。
1.5.3 Dircet 实战
1.5.3.1 生产者代码
public class EmitLogDirect {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
//创建多个 bindingKey
Map<String, String> bindingKeyMap = new HashMap<>();
bindingKeyMap.put("info", "普通 info 信息");
bindingKeyMap.put("warning", "警告 warning 信息");
bindingKeyMap.put("error", "错误 error 信息");
//debug 没有消费这接收这个消息 所有就丢失了
bindingKeyMap.put("debug", "调试 debug 信息");
for (Map.Entry<String, String> bindingKeyEntry : bindingKeyMap.entrySet()) {
String bingingKey = bindingKeyEntry.getKey();
String message = bindingKeyEntry.getValue();
channel.basicPublish(EXCHANGE_NAME, bingingKey, null, message.getBytes(StandardCharsets.UTF_8));
System.out.println("生产者发送消息:" + message);
}
}
}
1.5.3.2 ReceiveLogsDirect01 代码
ReceiveLogsDirect01 把接收到的消息打印在屏幕上
public class ReceiveLogsDirect01 {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
//声明一个直接交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT, false, true, null);
//声明一个队列
String queueName = "console";
channel.queueDeclare(queueName, false, false, true, null);
// 绑定交换机与队列
channel.queueBind(queueName, EXCHANGE_NAME, "info");
channel.queueBind(queueName, EXCHANGE_NAME, "warning");
System.out.println("ReceiveLogsDirect01等待接收消息,把接收到的消息打印在屏幕上......");
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("ReceiveLogsDirect01接收消息:" + new String(message.getBody(), StandardCharsets.UTF_8));
};
CancelCallback cancelCallback = consumerTag -> {
System.out.println("ReceiveLogsDirect01消息接收中断的回调接口");
};
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
}
}
1.5.3.2 ReceiveLogsDirect02 代码
ReceiveLogsDirect02 将接收到的消息存储在磁盘
public class ReceiveLogsDirect02 {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
//声明一个直接交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT, false, true, null);
//声明一个队列
String queueName = "disk";
channel.queueDeclare(queueName, false, false, true, null);
// 绑定交换机与队列
channel.queueBind(queueName, EXCHANGE_NAME, "error");
System.out.println("ReceiveLogsDirect02等待接收消息,将接收到的消息存储在磁盘......");
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("ReceiveLogsDirect02接收消息并存储磁盘:" + new String(message.getBody(), StandardCharsets.UTF_8));
};
CancelCallback cancelCallback = consumerTag -> {
System.out.println("ReceiveLogsDirect02消息接收中断的回调接口");
};
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
}
}
1.5.3.3 效果展示
1.6 Topic
1.6.1 之前类型的问题
在上一个小节中,我们改进了日志记录系统。我们没有使用只能进行随意广播的 fanout 交换机,而是使用了 direct 交换机,从而有能实现有选择性地接收日志。
尽管使用 direct 交换机改进了我们的系统,但是它仍然存在局限性:比方说我们想接收的日志类型有info.base 和 info.advantage,某个队列只想接收routingkey以 info开头并且base 结尾的消息,那这个时候 direct 就办不到了。这个时候就只能使用 topic 类型。
1.6.2 Topic 的要求
发送到类型是 topic 交换机的消息的 routing_key 不能随意写,必须满足一定的要求,它必须是一个单词列表,以点号分隔开。这些单词可以是任意单词,比如说:“stock.usd.nyse”, “nyse.vmw”, “quick.orange.rabbit”.这种类型的。当然这个单词列表最多不能超过 255 个字节。
在这个规则列表中,其中有两个替换符是大家需要注意的:
- *(星号)可以代替一个单词
- #(井号)可以替代零个或多个单词
1.6.3 Topic 匹配案例
下图绑定关系如下
- Q1绑定的routingkey是: 中间带 orange 的 3 个单词的字符串
- Q2绑定的routingkey是
- 最后一个单词是 rabbit 的3个单词
- 第一个单词是 lazy 的多个单词
上图是一个队列绑定关系图,我们来看看他们之间数据接收情况是怎么样的
routing_key | 接收情况 |
---|---|
quick.orange.rabbit | 被队列 Q1Q2 接收到 |
lazy.orange.elephant | 被队列 Q1Q2 接收到 |
quick.orange.fox | 被队列 Q1 接收到 |
lazy.brown.fox | 被队列 Q2 接收到 |
lazy.pink.rabbit | 虽然满足两个绑定但只被队列 Q2 接收一次 |
quick.brown.fox | 不匹配任何绑定不会被任何队列接收到会被丢弃 |
quick.orange.male.rabbit | 是四个单词不匹配任何绑定会被丢弃 |
lazy.orange.male.rabbit | 是四个单词但匹配 Q2 |
当队列绑定关系是下列这种情况时需要引起注意
- 当一个队列绑定键是#,那么这个队列将接收所有数据,就有点像 fanout 了
- 如果队列绑定键当中没有#和*出现,那么该队列绑定类型就是 direct 了
1.6.4 Topic 实战
1.6.4.1 EmitLogTopic 代码
public class EmitLogTopic {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
/**
* Q1-->绑定的是
* 中间带 orange 带 3 个单词的字符串(*.orange.*)
* Q2-->绑定的是
* 最后一个单词是 rabbit 的 3 个单词(*.*.rabbit)
* 第一个单词是 lazy 的多个单词(lazy.#)
*/
Map<String, String> bindingKeyMap = new HashMap<>();
bindingKeyMap.put("quick.orange.rabbit", "被队列 Q1Q2 接收到");
bindingKeyMap.put("lazy.orange.elephant", "被队列 Q1Q2 接收到");
bindingKeyMap.put("quick.orange.fox", "被队列 Q1 接收到");
bindingKeyMap.put("lazy.brown.fox", "被队列 Q2 接收到");
bindingKeyMap.put("lazy.pink.rabbit", "虽然满足两个绑定但只被队列 Q2 接收一次");
bindingKeyMap.put("quick.brown.fox", "不匹配任何绑定不会被任何队列接收到会被丢弃");
bindingKeyMap.put("quick.orange.male.rabbit", "是四个单词不匹配任何绑定会被丢弃");
bindingKeyMap.put("lazy.orange.male.rabbit", "是四个单词但匹配 Q2");
for (Map.Entry<String, String> bindingKeyEntry : bindingKeyMap.entrySet()) {
String bindingKey = bindingKeyEntry.getKey();
String message = bindingKeyEntry.getValue();
channel.basicPublish(EXCHANGE_NAME, bindingKey, null, message.getBytes(StandardCharsets.UTF_8));
System.out.println("生产者发出消息:" + message);
}
}
}
1.6.4.2 ReceiveLogsTopic01 代码
public class ReceiveLogsTopic01 {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
//声明topic交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC, false, true, null);
//声明队列
String queueName = "Q1";
channel.queueDeclare(queueName, false, false, true, null);
//绑定交换机
channel.queueBind(queueName, EXCHANGE_NAME, "*.orange.*", null);
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("Q1接收到消息:" + new String(message.getBody(), StandardCharsets.UTF_8));
};
CancelCallback cancelCallback = consumerTag -> {
System.out.println("消息接收中断的回调逻辑");
};
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
System.out.println("Q1等待接收消息......");
}
}
1.6.4.3 ReceiveLogsTopic02 代码
public class ReceiveLogsTopic02 {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
//声明topic交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC, false, true, null);
//声明队列
String queueName = "Q2";
channel.queueDeclare(queueName, false, false, true, null);
//绑定交换机
channel.queueBind(queueName, EXCHANGE_NAME, "*.*.rabbit", null);
channel.queueBind(queueName, EXCHANGE_NAME, "lazy.#", null);
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("Q2接收到消息:" + new String(message.getBody(), StandardCharsets.UTF_8));
};
CancelCallback cancelCallback = consumerTag -> {
System.out.println("消息接收中断的回调逻辑");
};
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
System.out.println("Q2等待接收消息......");
}
}