brpc源码解析(十)—— 核心组件bvar详解(1)简介和整体架构

bvar是Brpc使用的多线程环境下的计数器类库,作为一个完善的rpc框架,在实际生产环境中统计诸如qps、连接数等各种数值是必须的,也是服务监控的很重要的一部分,但在多线程环境下,计数器被多线程访问,容易出现cache bouncing影响性能,bvar最核心的思想就是利用thread local变量来减少cache bouncing,本质上是将写的竞争转移到了读,但在诸如监控这种场景下,通常读是远远小于写的,因此这种转移的正向效果是显著的。
bvar的官方文档对于bvar的使用介绍已经很详细,我这边打算接下来用几篇文章从源码层面入手介绍这个优秀的数值统计类库,学习下优秀的设计思想。本篇主要会根据源码先整体分析bvar的组织和实现方式,后续将会深入各个类的实现。

1. 主要核心类及其作用

bvar内部的核心类,从功能作用上来看大致可以分为三种:

1.1 提供基础功能的组件:

这些基础类属于bvar机制的基础,是外部直接调用功能的基础支撑。
(1)Variable:Variable是所有bvar的基类,主要提供全局注册,列举,查询等功能。如果用默认参数新建bvar,并不会注册到任何全局结构,此时bvar纯粹是一个更快的计数器。把bvar注册到全局表(varmap)中的行为叫”曝光“(expose),可通过显示调用expose函数或者通过带名字的构造参数实现曝光,曝光后就可以通过ip:port/vars查看,也就是说曝光后的bvar可以通过内置服务直接查看,不需要额外的监控服务。
(2)AgentGroup:用来实际管理统计值数据存储的类,也就是负责tls空间的分配。
(3)AgentCombiner:前面说过了bvar的核心思想是利用tls来减少写的竞争,那么在读的时候就少不了将tls数据combine的过程,这个类就提供了这个功能,里面提供了方法来对各个thread的tls数据进行聚合得到global值,统计值类型的bvar创建的时候会同时创建对应的combiner。combiner依赖AgentGroup来满足统计值类型的bvar对tls数据的写入和从各tls数据汇总成global值。
(4)Sampler:字面意思就是采样器,用于定时采样,对于统计值类型的bvar,初始化的时候是没有也不需要Sampler的,被Window或者PerSecond追踪后,才有定时采样的需求,才会新建对应的Sampler并进行定时调度。

1.2 统计值类型:

bvar面向用户的核心部分,各种统计需要直接操作的类型,有以下几类:
(1)Reducer:Reducer继承自Variable,用二元运算符把多个值合并为一个值,运算符需满足结合律,交换律,没有副作用。比如常用的累加计数器、最大值、最小值Adder,Miner,Maxer都属于reducer。
(2)IntRecorder:用于计算平均值。
(3)Status:记录和显示很少修改或者定期修改的值。
(4)PassiveStatus:和Status类似,之所以叫Passive是因为实际需要用时才调用回调函数来得到。
(5)LatencyRecorder:专用于计算latency和qps的计数器。只需输入latency,就能获得latency / max_latency / qps / count。和其他基本统计值类型不一样,LatencyRecorder没有继承自由Variable,而是由多个其他类型的bvar组合实现。
(6)GFlag:读取并曝光关心的gflags用于监控。

1.3 时间窗口类型:

除了直接读写统计值类型,还有很重要的一类就是时间窗口,这也是我们监控服务的常见需求,此类bvar不能独立存在,必须依赖已有的计数器,也就是追踪采集已有的计数器,每隔一秒自动采集。时间窗口类型有Window和PerSecond。
(1)Window:获得之前一段时间内的统计值。具体到实现上就是后台线程定期去采集值。
(2)PerSecond :获得之前一段时间内平均每秒的统计值,除了返回值会除以时间窗口之外,和Window基本相同。

各核心类关系可以大概总结为下图:
在这里插入图片描述
由于画图的局限性,以上只是大概,比如不是所有的值类型的都用到了sampler,Reducer等作为Window和Persecond的依赖也没有体现。

2. 几个简单示例

为了便于理解,这里贴几个官方文档的使用示例:
(1)Adder的使用

bvar::Adder<int> value;
value << 1 << 2 << 3 << -4;
CHECK_EQ(2, value.get_value());

(2)Maxer加上Window的使用

bvar::Maxer<int> max_value;
value << 1 << 2 << 3 << -4;
CHECK_EQ(3, value.get_value());
bvar::Window<bvar::Maxer<int> > max_value_per_second(&max_value, 1);

(3)PassiveStatus的使用

static void get_username(std::ostream& os, void*) {
    char buf[32];
    if (getlogin_r(buf, sizeof(buf)) == 0) {
        buf[sizeof(buf)-1] = '\0';
        os << buf;
    } else {
        os << "unknown";
    }
}
PassiveStatus<std::string> g_username("process_username", get_username, NULL);

3. 总结

这篇算是一个引子,介绍了了下bvar的基本功能和整体架构组织,后续将会对bvar比较核心的各机制分别进行源码层面的解析。

参考:
bvar官方文档

Ansible是一种自动化运维工具,它可以自动化部署、配置和管理多台服务器。下面是Ansible的安装步骤和核心组件详解: 一、Ansible的安装 1.安装依赖包 在CentOS/RHEL上安装Ansible之前,需要安装一些必要的依赖包: ``` yum install epel-release -y yum install python-pip python-devel -y yum install gcc -y ``` 2.安装Ansible 使用pip安装Ansible: ``` pip install ansible ``` 3.验证安装 安装完成后,可以使用以下命令验证Ansible是否安装成功: ``` ansible --version ``` 二、Ansible的核心组件 1.Inventory Inventory是Ansible的主机清单文件,它用于定义目标主机或主机组,以便Ansible可以执行任务。Inventory可以使用INI格式或YAML格式编写。 以下是一个Inventory的示例: ``` [web] 192.168.1.100 192.168.1.101 [db] 192.168.1.102 ``` 上面的Inventory定义了两个主机组,web和db。web组包含了两个主机:192.168.1.100和192.168.1.101,而db组只包含一个主机:192.168.1.102。 2.Playbook Playbook是Ansible的任务剧本文件,它用于定义一系列任务和执行顺序。Playbook使用YAML格式编写。 以下是一个Playbook的示例: ``` - name: Install Apache hosts: web become: true tasks: - name: Install Apache package yum: name: httpd state: present - name: Start Apache service service: name: httpd state: started ``` 上面的Playbook定义了一个名为Install Apache的任务,在web组中安装Apache,然后启动Apache服务。 3.Module Module是Ansible的模块,它用于执行特定的任务。Ansible有很多内置的模块,如yum、copy、service等。 以下是一些常用的模块: - yum:安装或卸载软件包; - copy:复制文件; - service:管理服务; - user:管理用户; - file:管理文件和目录; - shell:在目标主机上执行Shell命令。 4.Role Role是Ansible的角色,它用于组织Playbook中的任务。Role可以包含多个任务、变量和模板。 以下是一个Role的示例: ``` roles/ common/ tasks/ main.yml vars/ main.yml templates/ my.cnf.j2 ``` 上面的Role定义了一个名为common的角色,它包含了一个tasks目录、一个vars目录和一个templates目录。其中,tasks目录包含了一个名为main.yml的任务文件,vars目录包含了一个名为main.yml的变量文件,templates目录包含了一个名为my.cnf.j2的模板文件。 以上就是Ansible的安装步骤和核心组件详解
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值