易用的C++ RPC服务框架 - pioneer - 1 - 设计目标和应用场景

在过去的两年时间里，我一直在用C++11写分布式数据库。在分布式系统中，远程方法调用是一个大麻烦。能不能像本地方法一样调用远程方法？能不能以异步的方式调用远程方法而调用线程不阻塞？能不能广播调用远程方法？能不能自动将异常信息带到客户端来处理？

我想要一个RPC框架，支持以下特性：

1.针对集群来设计

2.和本地函数几乎一样的调用方法

3.没有IDL

4.支持同步调用和异步调用

5.支持有返回值/无返回值，对无返回值的调用进行优化

6.支持一对一、一对多、多播、广播、可靠广播调用

7.支持异常处理

8.不考虑跨语言

我写了pioneer框架来实现这些功能，你可以在github上获得源代码：https://github.com/galaxyeye/pioneer。

我原本的目标是建立内部使用的分布式数据库，所以我并不打算支持跨平台、跨语言等特性，只支持linux下的C++11，目前只在gcc 4.6, gcc 4.7下测试过。

由于历史原因，这个框架的网络库使用的是陈硕同学的muduo，有改动，改动过的代码：https://github.com/galaxyeye/muduo。

以下考虑一些数据库系统中常见的RPC场景，以此说明，在pioneer框架下，使用远程过程调用有多么简单。

应用场景和伪代码（假定服务器端是一个有多台机器的分布式数据库集群）：

1. 任务：执行一个sql（P2P异步有返回）

服务器端实现以下函数：
const string& execute(const string& sql); // 返回一个结果集

客户端：
void handle_sql_executed(const string&); // 实现一个回调函数
p2p_client client(server_ip); // 发送给指定服务器
client.call("execute", execute, sql); // 调用完后当前任务挂起，直到有结果集返回才重启相应的任务并执行回调函数

2. 任务：控制台通知集群中所有机器删除两天前的日志文件（广播异步无返回）

服务器端实现以下函数：
void del_logs(long timestamp);

客户端调用：
broadcast_client client; // 广播给所有机器，允许一些机器收不到
client.call("del_logs", del_logs, timestamp_3_days_before);

3. 任务：控制台通知集群中所有机器报告内存占用率（可靠广播异步有返回）

服务器端实现以下函数：
string report_memory_usage();

客户端：
void handle_memory_usage_reported(const string&); // 实现一个回调函数
reliable_broadcast_client client; // 广播给所有机器，如果有机器没有收到广播，将触发异常
client.call("report_memory_usage",  report_memory_usage, handle_memory_usage_reported); // 一旦异步返回值，即调用callback处理

4. 任务：控制台初始化服务器端一项子服务，初始化完成后继续执行（p2p同步有返回）

服务器端实现以下函数：
string init_service(const string& service_name);

客户端：
void service_initialized(const string&); // 实现一个回调函数
p2p_client client(server_ip);
client.sync_call("init_service",  init_service, service_initialized, "some_service"); // 同步调用，没有结果之前，调用线程一直挂起

所有类型的远程任务，都不过寥寥数行代码就可以调用起来。接下来的几篇文章里，我将通过pioneer内置的几个远程函数，来演示在pioneer里实现和成功调用一个远程方法，所需要的几个简单步骤。