1、为什么要有parallel channel
关于ParallelChannel的使用,首先需要知道parallelchannel实际是为了更好的并发编程使用brpc而提供的一套api。在之前的博客中已经提到了如何使用brpc完成同步、异步的并发操作。虽然它们能完成异步并发的操作,但是这类代码的多线程陷阱很多,用户可能写出了bug也不自知,复现和调试也比较困难。而且实现要么只能支持同步的情况,要么得为异步重写一套。以"在多个异步RPC完成后运行一些代码"为例,它的同步实现一般是异步地发起多个RPC,然后逐个等待各自完成。
它的异步实现一般是用一个带计数器的回调,每当一个RPC完成时计数器减一,直到0时调用回调。可以看到它的缺点:
1.同步和异步代码不一致。用户无法轻易地从一个模式转为另一种模式。从设计的角度,不一致暗示了没有抓住本质。
2.往往不能被取消。正确及时地取消一个操作不是一件易事,何况是组合访问。但取消对于终结无意义的等待是很必要的。
3.不能继续组合。比如你很难把一个上述实现变成“更大"的访问模式的一部分。换个场景还得重写一套。
我们需要更好的抽象。如果我们能以不同的方式把一些Channel组合为更大的Channel,并把不同的访问模式置入其中,那么用户可以便用统一接口完成同步、异步、取消等操作。这种channel在brpc中被称为组合channel。
2、什么是parallel channel
ParallelChannel (有时被称为“pchan”)同时访问其包含的sub channel,并合并它们的结果。用户可通过CallMapper修改请求,通过ResponseMerger合并结果。ParallelChannel看起来就像是一个Channel:
- 支持同步和异步访问。
- 发起异步操作后可以立刻删除。
- 可以取消。
- 支持超时。
一个sub channel可多次加入同一个ParallelChannel。当你需要对同一个服务发起多次异步访问并等待它们完成的话,这很有用。
ParallelChannel的内部结构大致如下:
从这个结构图可以看到,实际parallel channel是组合了多个sub channel,然后将请求request发送到对应的所有sub channel上,然后将每个子response的结果,最后做一个合并传输给用户。
总的来说,用户自己去写多线程的同步异步操作可能会有很多bug,这里使用parallelchannel使用就不用担心这个问题,用户只需要记住加入哪几个sub channel,所有的线程接入的接口就是parallel channel,不用是关乎线程的竞争问题。sub channel可以在内部保证正确的线程rpc调用。
3、bvar计数器
在brpc中使用了大量的bvar,bvar是brpc内部的监控器,它可以监控在parallel channel中各个sub channel的性能(qps,io延时等等),详细的bvar的介绍和说明可以参考这篇博客:brpc学习:bvar
常用的bvar有:
•bvar::Adder : 计数器,默认0,varname << N相当于varname += N。
•bvar::Maxer : 求最大值,默认std::numeric_limits::min(),varname << N相当于varname = max(varname, N)。
•bvar::Miner : 求最小值,默认std::numeric_limits::max(),varname << N相当于varname = min(varname, N)。
•bvar::IntRecorder : 求自使用以来的平均值。注意这里的定语不是“一段时间内”。一般要通过Window衍生出时间窗口内的平均值。
•bvar::Window : 获得某个bvar在一段时间内的累加值。Window衍生于已存在的bvar,会自动更新。
•bvar::PerSecond : 获得某个bvar在一段时间内平均每秒的累加值。PerSecond也是会自动更新的衍生变量。
•bvar::LatencyRecorder : 专用于记录延时和qps的变量。输入延时,平均延时/最大延时/qps/总次数 都有了。
•bvar::Status:记录和显示一个值,拥有额外的set_value函数。
•bvar::PassiveStatus:按需显示值。在一些场合中,我们无法setvalue或不知道以何种频率setvalue,更适合的方式也许是当需要显示时才打印。用户传入打印回调函数实现这个目的。
4.实例
这里给出一个例子,这个例子来自brpc开源的parallel channel例子。例子主要思想是,开启50个线程去调用远程的rpc服务。每个parallel channel中设置有3个sub channel。最后通过bvar监控每个sub channel的性能并打印。
代码如下:
#include <gflags/gflags.h>
#include <bthread/bthread.h>
#include <butil/logging.h>
#include <butil/string_printf.h>
#include <butil/time.h>
#include <butil/macros.h>
#include <brpc/parallel_channel.h> //包含parallel_channel模块的头文件
#include <brpc/server.h>
#include "echo.pb.h"
DEFINE_int32(thread_num, 50, "Number of threads to send requests"); //使用线程的个数
DEFINE_int32(channel_num, 3, "Number of sub channels"); //使用sub channel的个数
DEFINE_bool(same_channel, false, "Add the same sub channel multiple times"); //是不是添加同一个sub channel
DEFINE_bool(use_bthread, false, "Use bthread to send requests"); //是不是使用bthread 还是普通的pthread
DEFINE_int32(attachment_size, 0, "Carry so many byte attachment along with requests");
DEFINE_int32(request_size, 16, "Bytes of each request");
DEFINE_string(connection_type, "", "Connection type. Available values: single, pooled, short");
DEFINE_string(protocol, "baidu_std", "Protocol type. Defined in src/brpc/options.proto");
DEFINE_string(server, "0.0.0.0:8002", "IP Address of server");
DEFINE_string(load_balancer, "", "The algorithm for load balancing");
DEFINE_int32(timeout_ms, 100, "RPC timeout in milliseconds");
DEFINE_int32(max_retry, 3, "Max retries(not including the first RPC)");
DEFINE_bool(dont_fail, false, "Print fatal when some call failed");
DEFINE_int32(dummy_port, -1,