RabbitMQ (六) 构建RPC
但是付过我们需要在远程电脑上运行一个方法然后等待结果,该怎么办?这是不同的需求。这个模式通常叫做RPC。
本文我们将使用RabbitMQ构建一个RPC系统:一个客户端和一个可扩展的RPC服务器端。由于我们没有任何真实的耗时任务需要分配,所以我们将创建一个虚拟的RPC服务,可以返回斐波纳契数列。
Client interface(客户端接口)
为了说明RPC服务可以使用,我们创建一个简单的客户端类。暴露一个方法——发送RPC请求,然后阻塞直到获得结果。
FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient();
String result = fibonacciRpc.call("4");
System.out.println( "fib(4) is " + result);
Callback queue(回调队列)
一般在RabbitMQ中做RPC是很简单的。客户端发送请求消息,服务器回复响应的消息。为了接受响应的消息,我们需要在请求消息中发送一个回调队列。可以用默认的队列(仅限java客户端)。试一试吧:
BasicProperties props = new BasicProperties
.Builder()
.replyTo(callbackQueueName)
.build();
channel.basicPublish("", "rpc_queue", props, message.getBytes());
// ... then code to read a response message from the callback_queue ...
Message properties(消息属性)
AMQP协议为消息预定义了一组14个属性。大部分的属性是很少使用的。除了一下几种:
- deliveryMode:标记消息传递模式,2-消息持久化,其他值-瞬态。在第二篇文章中还提到过。
- contentType:内容类型,用于描述编码的mime-type。例如经常为该属性设置JSON编码。
- replyTo:应答,通用的回调队列名称
- correlationId:关联ID,方便RPC响应与请求关联
我们需要添加一个新的导入
import com.rabbitmq.client.AMQP.BasicProperties;
Correlation Id
在上述方法中为每个RPC请求创建一个回调队列。这是很低效的。幸运的是,一个解决方案:可以为每个客户端创建一个单一的回调队列。
新的问题被提出,队列收到一条回复消息,但是不清楚是那条请求的回复。这是就需要使用correlationId属性了。我们要为每个请求设置唯一的值。然后,在回调队列中获取消息,看看这个属性,关联response和request就是基于这个属性值的。如果我们看到一个未知的correlationId属性值的消息,可以放心的无视它——它不是我们发送的请求。
你可能问道,为什么要忽略回调队列中未知的信息,而不是当作一个失败?这是由于在服务器端竞争条件的导致的。虽然不太可能,但是如果RPC服务器在发送给我们结果后,发送请求反馈前就挂掉了,这有可能会发送未知correlationId属性值的消息。如果发生了这种情况,重启RPC服务器将会重新处理该请求。这就是为什么在客户端必须很好的处理重复响应,RPC应该是幂等的。
Summary(总结)
我们的RPC的处理流程:
- 当客户端启动时,创建一个匿名的回调队列。
- 客户端为RPC请求设置2个属性:replyTo,设置回调队列名字;correlationId,标记request。
- 请求被发送到rpc_queue队列中。
- RPC服务器端监听rpc_queue队列中的请求,当请求到来时,服务器端会处理并且把带有结果的消息发送给客户端。接收的队列就是replyTo设定的回调队列。
- 客户端监听回调队列,当有消息时,检查correlationId属性,如果与request中匹配,那就是结果了。
完整的实例
RPC服务器端(RPCServer.java)
import com.rabbitmq.client.*;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class RPCServer
{
private static final String RPC_QUEUE_NAME = "rpc_queue";
/**
* 斐波那契
* @param n
* @return
*/
private static int fib(int n) {
if (n == 0) {
return 0;
}
if (n == 1) {
return 1;
}
return fib(n - 1) + fib(n - 2);
}
public static void main(String[] args) throws IOException, TimeoutException
{
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("120.79.222.144");
Connection connection = factory.newConnection();
Channel channel = connection.createChannel();
channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
// 清空一个队列
channel.queuePurge(RPC_QUEUE_NAME);
//这告诉RabbitMQ一次不同时向一个worker发送一条消息(公平调遣)
channel.basicQos(1);
System.out.println(" [x] Awaiting RPC requests");
Object monitor = new Object();
// 传递消息时要通知的回调
DeliverCallback deliverCallback = (consumerTag, delivery)->{
AMQP.BasicProperties replyProps = new AMQP.BasicProperties
.Builder()
// 用于将RPC响应与请求相关联。
.correlationId(delivery.getProperties().getCorrelationId())
.build();
String response = "";
try
{
// 获取消息
String message = new String(delivery.getBody(), "UTF-8");
int n = Integer.parseInt(message);
System.out.println(" [.] fib(" + message + ")");
response += fib(n);
}catch (RuntimeException e) {
System.out.println(" [.] " + e.toString());
} finally {
// 发送消息
channel.basicPublish("", delivery.getProperties().getReplyTo(), replyProps, response.getBytes("UTF-8"));
// basicAck 确认是否接受一条或者多条消息
channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
// RabbitMq consumer worker thread notifies the RPC server owner thread
synchronized (monitor) {
monitor.notify();
}
}
};
channel.basicConsume(RPC_QUEUE_NAME, false, deliverCallback, (consumerTag -> { }));
// Wait and be prepared to consume the message from RPC client.
while (true) {
synchronized (monitor) {
try {
monitor.wait();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
}
RPCClient.java
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import java.io.IOException;
import java.util.UUID;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.TimeoutException;
public class RPCClient
{
private Connection connection;
private Channel channel;
private String requestQueueName = "rpc_queue";
public RPCClient() throws IOException, TimeoutException
{
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("120.79.222.144");
connection = factory.newConnection();
channel = connection.createChannel();
}
public static void main(String[] args)
{
try {
RPCClient fibonacciRpc = new RPCClient();
for (int i = 0; i < 32; i++) {
String i_str = Integer.toString(i);
System.out.println(" [x] Requesting fib(" + i_str + ")");
String response = fibonacciRpc.call(i_str);
System.out.println(" [.] Got '" + response + "'");
}
} catch (IOException | TimeoutException | InterruptedException e) {
e.printStackTrace();
}
}
public String call(String message) throws IOException, InterruptedException {
// 生成corrId
final String corrId = UUID.randomUUID().toString();
//为每一个客户端获取一个随机的回调队列
String replyQueueName = channel.queueDeclare().getQueue();
//设置replyTo和correlationId属性值
AMQP.BasicProperties props = new AMQP.BasicProperties
.Builder()
.correlationId(corrId)
.replyTo(replyQueueName)
.build();
//发送消息到rpc_queue队列
channel.basicPublish("", requestQueueName, props, message.getBytes("UTF-8"));
final BlockingQueue<String> response = new ArrayBlockingQueue<>(1);
// 消息回调
String ctag = channel.basicConsume(replyQueueName, true, (consumerTag, delivery) -> {
if (delivery.getProperties().getCorrelationId().equals(corrId)) {
response.offer(new String(delivery.getBody(), "UTF-8"));
}
}, consumerTag -> {
});
String result = response.take();
channel.basicCancel(ctag);
return result;
}
public void close() throws IOException {
connection.close();
}
}