bthread源码分析（二）ObjectPool && ResourcePool

最新推荐文章于 2021-11-28 21:22:47 发布
最新推荐文章于 2021-11-28 21:22:47 发布
阅读量335 收藏 1
点赞数
分类专栏： 开源工程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kdb_viewer/article/details/115913823
版权

对象池存储固定大小的对象，针对多线程环境反复使用fixed size小对象的场景相比每次都new和delete有明显的性能提升。同时由于对象池不销毁对象的特性，极大简化了无锁编程中对象生命周期管理的问题。

源码位置：base/resource_pool.h base/resource_pool_inl.h base/object_pool.h base/object_pool_inl.h

bthread提供对象池ObjectPool和资源池ResourcePool，两者的差异仅仅在于ResourcePool额外提供了根据id获取指定对象的功能，因此这里针对ResourcePool进行分析，在不需要使用id功能的场景下可以直接使用ObjectPool，以减少维护id带来的不必要的开销。

数据结构

解释：

  • ResourcePool<T>：每个用户类型T对应一个全局单例的ResourcePool，内部采用两级存储的方式存储T类型对象以节省空间
  • group：第一级存储，每个group内部记录65535个block指针，一个ResourcePool最多存储65535个group
  • block：第二级存储，每个block内部存储实际的T类型对象，数量根据T类型大小和用户配置决定，对于每个用户类型T，block内部存储的T类型对象数量是固定的
  • _free_chunks：DynamicFreeChunk的数组，每个DynamicFreeChunk管理不定数量的空闲id
  • LocalPool：每个thread在thread本地存储中管理一个LocalPool，所有和资源池交互的操作都通过LocalPool进行，这样可以利用缓存局部性以提升性能。LocalPool内部管理一个本地固定大小的FreeChunk，获取对象时先从FreeChunk中尝试，若本地FreeChunk为空会尝试从全局ResourcePool的_free_chunks中获取一个，若本地FreeChunk满，会弹到全局的_free_chunks中
  • _cur_block：本地LocalPool管理的一个block，当没有free_id可供使用时，从这个block中分配对象
  • id：对象在ResourcePool<T>中的全局唯一index，id = group_index * 65535 * block_index + offset_in_block

获取对象流程

1、从本地FreeChunk中获取free_id，若成功，根据id从ResoucePool<T>中获取T类型对象并根据参数决定该对象构造方式

2、若1失败，那么尝试从ResourcePool<T>中获取一个FreeChunk并copy到本地，然后重做1，这里注意copy是一个大开销操作但是这种操作很少，对整体摊销不大

3、若2失败，那么尝试从本地管理的Block中获取一个，计算id后返回，若本次没有Block或者已经满了，那么在ResourcePool<T>中创建一个新block，将此block设置为本地管理然后从中分配

4、若以上都失败了，那么分配失败，返回NULL

用户类型T构造和析构的说明

将T类型对象返回资源池不会对对象进行析构，从资源池中获取到的若是之前还给资源池的对象那么也不会执行构造。针对T中某些成员需要每次都初始化的，需要在资源池中拿到对象后自行做初始化处理

kdb_viewer
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【brpc】ResourcePool详解
baidu_41692782的博客
03-16 564
原地址：https://github.com/apache/incubator-brpc/blob/master/src/butil/resource_pool_inl.h 说明文档：https://github.com/apache/incubator-brpc/blob/master/docs/cn/memory_management.md // Licensed to the Apache Software Foundation (ASF) under one // or more contrib
bthread源码分析（一）概述
kdb_viewer的博客
04-20 979
bthread是一个M:N线程库，是brpc的核心组件。bthread实现了用户态上下文切换，主要有2个目标，一是降低编码难度，业务层可使用同步编程模式；二是在多核系统上取得更好的扩展性和局部性，提供更低的延时，更高的cpu利用率。 bthread和协程 谈到bthread，就不得不提协程。首先要强调的一点是，bthread不是协程。一般上我们说的协程的概念是M:1线程库，多个协程跑在一个底层pthread上，一个协程阻塞就会导致协程所在的pthread阻塞，进而该pthread上的其他协程都无法被调度
Unity 对象池插件 Easy ObjectPool 2.0
02-23
Unity 轻量高效对象池插件 // // 摘要: // 首次加载是否完成 public static bool firstPreloadFinish { get; } // // 摘要: // 获取实例 public static EasyObjectPool GetInstance(); // // 摘要: // 新增要给对象池 // // 参数: // prefab: // // firstExpandCount: public void Add( GameObject prefab, int firstExpandCount = 100 ); // // 摘要: // 是否是对象池元素 //
.Net Core中ObjectPool的使用与源码解析
01-02
一、对象池　　 运用对象池化技术可以显著地提升性能，尤其是当对象的初始化过程代价较大或者频率较高。下面是ObjectPool源码中涉及的几个类。当你看过.Net Core源码很多时，你会发现，微软的开发很多都是这种模式，通过Policy构建Provider，通过Provider创建最终的类。 二、使用 这个组件的目的主要是将对象保存到对象池，用的时候直接去取，不需要重新创建，实现对象的重复利用。但是有个问题，假如对象池中开始没有对象或者取得数量大于对象池中的数量怎么办？在对象池中对象的数量不足时，此时来取对象，需要通过Policy创建对象，至于怎么创建对象，是你需要实现的。Policy如
bthread分析总结
硕硕的博客
09-04 753
bthread是brpc中高性能的基础部件，提供了与pthread一致的同步元语实现，如sleep，yeild，wait等。在网络请求中等待对端响应时，线程其实处于空等的状态，通过主动让出执行权给其他线程执行，将付出上下文切换的额外开销。为此，在brpc中引入了更轻量级的“线程”--bthread，bthread的切换是纯用户态的行为，不涉及内核态上下文切换过程，所以性能消耗更小。 实现上跟线程池类似，一组线程从任务队列中取任务，但在单个线程的维度，出现空等状态时只能主动放弃执行权，进入挂起...
2021SC@SDUSC BRPC代码分析(八) —— butil-resource pool类详解
m0_46306466的博客
11-28 373
2021SC@SDUSC 文章目录一、resource pool类简介二、代码分析总结 一、resource pool类简介         上篇文章简单介绍了bthread的概念及作用，并且分析了同步的工具——butex，这篇文章继续介绍一个bthread的基础类，resource pool。         resource pool是非常基
bthead基础
INGNIGHT的专栏
09-08 266
线程执行协程与线程调用函数的不同 协程的原理与实现方式 系统线程执行多个协程时的内存布局变化过程 brpc的bthread任务定义 线程执行协程与线程调用函数的不同 一个pthread系统线程执行一个函数时，需要在pthread的线程栈上为函数创建栈帧，函数的形式参数和局部变量都分配在栈帧内。函数执行完毕后，按逆序销毁函数局部变量，再销毁栈帧。假设有一个线程A开始执行下面的foo函数： void bar(int m) { // 执行点1 // ... } void foo(int a, int b
brpc源码解析（五）—— 基础类resource pool详解
wxj1992的博客
08-28 4354
目录1.获取资源2.归还资源3.总结 brpc是一个完整的rpc框架，其中用到了很多比较优秀的基础类，会看情况分析下这些类的源码，从这篇的resource pool开始，resource pool是很重要的基础类之一，顾名思义，就是资源池，是一个用于在多线程环境下进行资源分配和回收的类，可以理解为高度竞争环境下速度更快的new和delete。resource pool在brpc里面有着大量的使用，...
Vijava 学习笔记之ResourcePool(基础配置信息)
zhouzhiwengang的专栏
04-28 2415
Vijava 代码 实体类： package com.vmware.pojo; import java.util.ArrayList; import java.util.Calendar; import java.util.Date; /** * 虚拟机信息 * @author zhb * */ public class VirtualMachineInfo extends Ent
BaseObjectPoolConfig
与望
05-16 1076
pool基本参数 基本参数 lifo GenericObjectPool 提供了后进先出(LIFO)与先进先出(FIFO)两种行为模式的池。默认为true，即当池中有空闲可用的对象时，调用borrowObject方法会返回最近（后进）的实例 fairness 当从池中获取资源或者将资源还回池中时 是否使用java.util.concurrent.locks.ReentrantLock.Reen...
对象池&线程池&数据库连接池
06-28
最简单高效的JAVA对象池、线程池、以及使用对象池技术实现的数据库连接池 已在生产运行5年以上的代码 若有任何问题请与我联系
Unity 高效对象池管理插件 Easy ObjectPool 2.0
02-28
冷热分离: 运行时内存实时预览 编辑模式下可以更轻松的配置初始化预加载的内容 支持 预加载 支持 代码动态新建pool 支持 延迟回收 支持 常规对象池管理 支持 自动动态扩展 Document: ...
resource pool 理解
weixin_34116110的博客
06-08 498
转帖 http://bbs.vmsky.com/viewthread.php?tid=10034&extra=&page=2 Shares表示了一台VM的重要性和该VM在资源分配时的权值，当同一台ESX或一个RESOURCE POOL中所有VM对CPU或内存资源需求超过100%时，发生资源争抢，此时，每台VM所能抢到的资源不超过((本VM SHARE)...
brpc源码解析（四）—— Bthread机制
wxj1992的博客
08-18 1万+
Bthread是brpc用到的一个线程库，也是brpc的核心之一，默认情况下，包括用户代码在内的绝大部分代码都是运行在bthread里的，bthread也是brpc实现高性能的基石。 bhtread官方文档定义如下： bthread是baidu-rpc使用的M:N线程库，目的是在提高程序的并发度的同时，降低编码难度，并在核数日益增多的CPU上提供更好的scalability, cache loca...
什么是线程池（thread pool）？
阿Ben的学习记录
02-09 788
在面向对象编程中，创建和销毁对象是很费时间的，因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是如此，虚拟机将试图跟踪每一个对象，以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数，特别是一些很耗资源的对象创建和销毁，这就是”池化资源”技术产生的原因。线程池顾名思义就是事先创建若干个可执行的线程放入一个池（容器）中，需要的时候从池中获取...
bprc-bthread梳理
sai_j的博客
10-01 515
BRPC是baidu内部自研的一套RPC框架，除了易用性、高性能之外，核心的一个亮点就是当中完整实现了一套M->N的Green Threading（类似Golang的Goroutine）。 1）BRPC在公司内部大量使用，每天的工作基本上都绕着brpc转也不为过； 2）因为自己最早是写C出身的，自然对Golang喜欢的不行，Goroutine也用得不要太开心，但是一直没有对Goroutine的原理进行学习。 借此机会，希望通过对bthread的梳理，能管中窥豹M->N Green Threadi
com.mchange.v2.resourcepool.BasicResourcePool$ScatteredAcquireTask@解决方案
热门推荐
Jecretariat的博客
10-18 2万+
在配置c3p0通过配置文件创建数据源对象时，报错信息如题。 原因一：你的数据库各类信息是否正确，url,username,password是否正确。 原因二：是否将必需的jar包都放进工程中 原因三：你导入的mysql的jar包和你设置的驱动信息是否一致，若是5.x版本，是com.mysql.jdbc.Driver；6.x是com.mysql.cj.jdbc.Driver。这个应保持一致。 原因...
redis缓存机制
kdb_viewer的博客
08-06 1万+
redis提供了三种缓存机制，LFU，LRU，TTL 1.LFU，least frequently used，即最小使用频率淘汰，每个对象使用共计24bit空间用来实施这个算法，24bit分成2个部分，前16bit用来记录上次减少时间（减少的是后面8bit计数器），后面8个bit是一个对数计数器，用来记录这个对象的访问次数。需要注意的是，这个字段不是一直增加的，也需要减少，否则会出现一个情况，一...
解释下面代码意思，并且给出每行代码的意思#ifndef MYOBJECTPOOL_H #define MYOBJECTPOOL_H #include<list> #include<memory> using namespace std; template<class T> class ObjectPool { private: std::list<T*> pool; // new //std::list<std::shared_ptr<T> > pool; public: ObjectPool() = default; ObjectPool(const ObjectPool&) = delete; // C++11 ObjectPool& operator=(const ObjectPool&) = delete; ~ObjectPool() { clear(); } std::shared_ptr<T> acquire() { if (pool.empty()) { // 1 sizeof(T) 2 .malloc 3 return std::shared_ptr<T>(new T(), [&](T* p) { pool.push_back(p); }); } else { auto ptr = pool.front(); pool.pop_front(); return std::shared_ptr<T>(ptr, [&](T* p) { pool.push_back(p); }); } } public: size_t size() const { return pool.size(); } void clear() { for (auto& p : pool) { //T*&; // T &* delete p; p = nullptr; } pool.clear(); } }; #endif
最新发布
06-12
这段代码实现了一个通用的对象池（ObjectPool）模板类，其中包含了以下内容： 1. 头文件保护：防止头文件重复包含。 2. 引入头文件：包括了list和memory两个头文件。 3. using语句：使用了std命名空间。 4. 类...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值