在过去的两年时间里,我一直在用C++11写分布式数据库。在分布式系统中,远程方法调用是一个大麻烦。能不能像本地方法一样调用远程方法?能不能以异步的方式调用远程方法而调用线程不阻塞?能不能广播调用远程方法?能不能自动将异常信息带到客户端来处理?
我想要一个RPC框架,支持以下特性:
1.针对集群来设计
2.和本地函数几乎一样的调用方法
4.支持同步调用和异步调用
5.支持有返回值/无返回值,对无返回值的调用进行优化
6.支持一对一、一对多、多播、广播、可靠广播调用
7.支持异常处理
8.不考虑跨语言
我写了pioneer框架来实现这些功能,你可以在github上获得源代码:https://github.com/galaxyeye/pioneer。
我原本的目标是建立内部使用的分布式数据库,所以我并不打算支持跨平台、跨语言等特性,只支持linux下的C++11,目前只在gcc 4.6, gcc 4.7下测试过。
由于历史原因,这个框架的网络库使用的是陈硕同学的muduo,有改动,改动过的代码:https://github.com/galaxyeye/muduo。
以下考虑一些数据库系统中常见的RPC场景,以此说明,在pioneer框架下,使用远程过程调用有多么简单。
应用场景和伪代码(假定服务器端是一个有多台机器的分布式数据库集群):
1. 任务:执行一个sql(P2P异步有返回)
服务器端实现以下函数: const string& execute(const string& sql); // 返回一个结果集 客户端: void handle_sql_executed(const string&); // 实现一个回调函数 p2p_client client(server_ip); // 发送给指定服务器 client.call("execute", execute, sql); // 调用完后当前任务挂起,直到有结果集返回才重启相应的任务并执行回调函数
2. 任务:控制台通知集群中所有机器删除两天前的日志文件(广播异步无返回)
服务器端实现以下函数: void del_logs(long timestamp); 客户端调用: broadcast_client client; // 广播给所有机器,允许一些机器收不到 client.call("del_logs", del_logs, timestamp_3_days_before);
3. 任务:控制台通知集群中所有机器报告内存占用率(可靠广播异步有返回)
服务器端实现以下函数: string report_memory_usage(); 客户端: void handle_memory_usage_reported(const string&); // 实现一个回调函数 reliable_broadcast_client client; // 广播给所有机器,如果有机器没有收到广播,将触发异常 client.call("report_memory_usage", report_memory_usage, handle_memory_usage_reported); // 一旦异步返回值,即调用callback处理
4. 任务:控制台初始化服务器端一项子服务,初始化完成后继续执行(p2p同步有返回)
服务器端实现以下函数: string init_service(const string& service_name); 客户端: void service_initialized(const string&); // 实现一个回调函数 p2p_client client(server_ip); client.sync_call("init_service", init_service, service_initialized, "some_service"); // 同步调用,没有结果之前,调用线程一直挂起
所有类型的远程任务,都不过寥寥数行代码就可以调用起来。接下来的几篇文章里,我将通过pioneer内置的几个远程函数,来演示在pioneer里实现和成功调用一个远程方法,所需要的几个简单步骤。