bthread源码分析（一）概述

最新推荐文章于 2024-05-14 01:22:38 发布
最新推荐文章于 2024-05-14 01:22:38 发布
阅读量1k 收藏 5
点赞数 1
分类专栏： 开源工程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kdb_viewer/article/details/115913785
版权
本文深入分析bthread，一个M:N线程库，对比其与协程的区别，探讨为何要阅读bthread源码，包括理解系统库原理、深化无锁编程应用和学习编程习惯。文章介绍了bthread的源码结构、阅读难度及推荐的阅读顺序，帮助读者更好地理解和使用bthread。
摘要由CSDN通过智能技术生成

bthread是一个M:N线程库，是brpc的核心组件。bthread实现了用户态上下文切换，主要有2个目标，一是降低编码难度，业务层可使用同步编程模式；二是在多核系统上取得更好的扩展性和局部性，提供更低的延时，更高的cpu利用率。

bthread和协程

谈到bthread，就不得不提协程。首先要强调的一点是，bthread不是协程。一般上我们说的协程的概念是M:1线程库，多个协程跑在一个底层pthread上，一个协程阻塞就会导致协程所在的pthread阻塞，进而该pthread上的其他协程都无法被调度执行。因此协程中不能执行长时间阻塞操作，只能搭配异步I/O，典型的使用场景是http server，这也是golang这种对协程支持较好的语言作为web server开发语言选型越来越流行的一个因素。brpc常用于大规模在线服务的后端server，特点是任务执行时间不确定，常出现少量任务延迟高的情况，在协程模型下就会导致卡住进程造成糟糕的性能表现。与协程最大的区别是，一个bthread被卡住不会影响其他bthread调度，原因是bthread基于butex实现了一套同步机制，这个在后文针对butex的源码分析中会做详细解剖。

为什么要读bthread源码

1、加深对系统库乃至底层操作系统原理的理解，知其然更知其所以然。

正如多数开发者都有使用pthread库的经历，然而对pthread内部实现细节有深入了解的却寥寥无几，brpc的开发者往往没有对bthread内部实现细节进行深挖。诚然对于现代软件体量膨胀的现状不可能要求开发者对自己程序中使用的所有组件内部实现都了如指掌，然而底层系统或者lib中有很多设计理念和实现细节值得深挖，一方面遇到一些疑难杂症时可以做到有的放矢不至于两眼抓瞎，另一方面计算机系统很多

最低0.47元/天 解锁文章
kdb_viewer
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【brpc学习实践十二】bthread
qq_42936727的博客
11-30 456
brpc 里面的bthread剖析及用法
C C++最新【brpc】bthread源码分析--重点组件，C C++未来路在何方
最新发布
2401_84976741的博客
05-15 687
interrupt_pthread()实质上是先设置为SIGURG设置为什么都不做的handler，然后调用pthread_kill向各线程发送信号以唤醒各个线程。
brpc源码解析（四）—— Bthread机制
热门推荐
wxj1992的博客
08-18 1万+
Bthread是brpc用到的一个线程库，也是brpc的核心之一，默认情况下，包括用户代码在内的绝大部分代码都是运行在bthread里的，bthread也是brpc实现高性能的基石。 bhtread官方文档定义如下： bthread是baidu-rpc使用的M:N线程库，目的是在提高程序的并发度的同时，降低编码难度，并在核数日益增多的CPU上提供更好的scalability, cache loca...
2024年最新bthread分析，2024年最新C C++高级进阶学习资料
2401_84978603的博客
05-14 326
/ 3.1 把thread local的tls_task_group 用刚才创建的TG来初始化。// 1. TG创建前的处理，里面也是回调g_worker_start_fun函数来执行操作，// 可以通过 bthread_set_worker_startfn() 来设置这个回调函数，// 5. TG结束时返回状态信息，后面其实有输出stat的日志，这里去掉了。// 2.1 通过原子变量进行load，取出TC指针，如果不为空，直接返回。// 3. 将初始化成功的TG，添加到TC记录TG指针数组中。
bthread(一) 前言
Hustle Everyday
04-01 426
前言 建议配合代码库看，一切以代码为准：https://github.com/apache/incubator-brpc/tree/master/src/bthread 感受 bthread为brpc的核心，设计的初衷其实是在充分利用cpu的情况下保证数据的局部性，在设计过程中遇到的各种问题戈大神团队参考了多种linux内核原语进行了重写和实现，其中比较核心的设计为每TaskGroup的_rq无锁队列的设计以及work stealing调度的各种逻辑实现，目的都是在尽可能少加锁的情况下实现线程调度的功
bthread分析总结
硕硕的博客
09-04 781
bthread是brpc中高性能的基础部件，提供了与pthread一致的同步元语实现，如sleep，yeild，wait等。在网络请求中等待对端响应时，线程其实处于空等的状态，通过主动让出执行权给其他线程执行，将付出上下文切换的额外开销。为此，在brpc中引入了更轻量级的“线程”--bthread，bthread的切换是纯用户态的行为，不涉及内核态上下文切换过程，所以性能消耗更小。 实现上跟线程池类似，一组线程从任务队列中取任务，但在单个线程的维度，出现空等状态时只能主动放弃执行权，进入挂起...
bthread(四) bthread用户接口和代码执行路径
Hustle Everyday
04-01 763
bthread用户接口 bthread_t（类似pthread_t）：64位int，前32位版本号防止ABA问题（释放后又重新被分配了，歧义），后32位为资源池（无全局竞争可O(1)访问的数组）中下标，可以很快地找到TaskMeta（里面有个变量就是这个bth的栈） 起bth基本函数 bthread_start_urgent &bthread_start_background 里面都是先判断g是否为空（是否运行在worker里），是的话运行start_xxx，不是运行start_from_n.
bthread(二) 线程模型及bthread
Hustle Everyday
03-30 690
线程模型 pthread：1:1，一个内核线程里只有一个用户线程，作为独立的调度单元可以被调度到多个cpu上 优点：多核扩展性好，起多个用户线程可以跑在多个cpu上 缺点：多个用户线程之间数据交互，互斥访问增加代码复杂度，即使用原子变量，当用户线程从cpu0切换到cpu1时，data要从L1 cache同步到其他cpu（锁住总线），所以起太多的pthread对于内核调度压力较大 协程（改进）：n:1，n个用户线程跑在一个内核线程（一个cpu） 优点：无多线程竞争，写代码容易些，因为跑在一个cpu上，
Java线程使用同步锁交替执行打印奇数偶数的方法
08-26
在 Java 中，多线程编程是非常重要的一部分，特别是在需要并发执行多个任务时。然而，在多线程编程中，如何保证线程执行结果的一致性是非常重要的。本文主要介绍了 Java 线程使用同步锁交替执行打印奇数偶数的方法。...
VC读串口方法.pdf
10-08
pParlPro->m_bThread = TRUE; CString c, d; char b[4]; // 检查m_LastIndex并读取数据 while (条件) { if (m_LastIndex > 1) // 串口缓冲区有数据 { // 读取数据并显示 // ... } } } ``` 无论是...
Java中常见死锁与活锁的实例详解
08-26
例如，在上面的代码中，"aThread" 和 "bThread" 都是 BLOCKED 状态，表示它们正在等待锁资源。 jstack jstack 是一个命令行工具，用于检查 Java 进程的线程 dump。例如，在上面的代码中，我们可以使用 jstack 命令...
使用Barrier来控制线程同步示例
01-21
可能的输出： 代码如下:Working on Thread AWorking on Thread BThread B will sleep for 10 seconds.Thread A will sleep for 847 seconds.Working on Thread CThread C will sleep for 26 seconds.Working on ...
bthread源码分析（六）bthread同步机制
kdb_viewer的博客
04-20 546
Butex butex是bthread使用的类futex的32bit同步原语，可用于bthreads或者pthreads的同步，不可用于同步多进程。 源码地址：bthread/butex.h bthread/butex.cpp Butex数据结构 如图，每个Butex内部包含一个32bit的用于同步的value和一个WaiterList。bthread进行同步操作时先判断Butex中的value是否和expect value相等，若是那么此bthread拿到了这个Butex，否则在栈上分配一个W
2021SC@SDUSC BRPC代码分析(十一) —— bthread-WorkStealingQueue类详解
m0_46306466的博客
12-14 1013
2021SC@SDUSC 文章目录一、简介二、代码分析总结 一、简介         上篇文章比较细致地介绍了bthread的整个调度流程。注意到里面在调度时出现了steal_task这种操作，偷任务这种说法挺起来很新鲜，它的内部实现我们上篇文章也见到了。其实是调用了TaskGroup的_rq，让_rq的成员函数去实现。 我们去task_group.h中找到TaskGroup类中定义了这个WorkStealingQueu
bthread(六) 小结
Hustle Everyday
04-01 749
brpc内如何用的bthread 以epoll为例举例，epoll线程跑在bthread里，io bthread是按需起的（只要有读、写事件来就起一个，对于一个fd只起一个读线程和线程），用户回调也是跑在bthread 【Q1】如果在callback里阻塞整个worker，其他worker会偷过来运行，但是万一所有worker都被阻塞住，那就gg了。 【Q2】如果在callback里发起brpc，只会阻塞当前bthread，底层的worker不受影响，他发现后就移出rq，这时，这个callback
2024年Linux 错误代码含义 Linux Error Code_linux err code，2024年最新程序员翻身之路
2401_84973144的博客
05-13 654
大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**
ThreadLocal原理详细解析
striveb的博客
10-26 468
1.ThreadLocal概念 ThreadLocal，可以叫做线程本地变量或线程本地存储，顾名思义就是ThreadLocal为变量在每个线程中都创建了一个副本，那么每个线程可以访问自己内部的副本变量。其实就是通过空间换时间的方式来取得对每个线程各自变量的共享。 变量值的共享可以使用 public static 变量的形式，所有的线程都使用同一个被 public static 修饰的变量。Th...
brpc中的协程bthread源码剖析（一）：Work Stealing以及任务的执行与切换
果冻虾仁
02-15 2501
bthread是协程吗？ 如果你使用过brpc，那么对bthread应该并不陌生。毫不夸张地说，brpc的精华全在bthread上了。bthread可以理解为“协程”，尽管官方文档的FAQ中，并不称之为协程（见：apache/incubator-brpc）。 若说到pthread大家都不陌生，是POSIX标准中定义的一套线程模型。应用于Unix Like系统，在Linux上pthread API的具体实现是NPTL库实现的。在Linux系统上，其实没有真正的线程，其采用的是LWP（轻量级进程）实现的线程
bthread(五) 无锁队列rq的代码实现
Hustle Everyday
04-01 356
基本介绍 初始化时b=t=1，代表队列为空，load是取值，store是赋值，push是从队尾添加（b+1），pop是从对首弹出（正常是b-1，有竞争了t+1），steal是从对首偷（t+1）。所以，b=t时队列为空，b=t+1时队列有1个元素。 竞争情况 由于对于此队列的push和pop操作发生在一次流程的两个阶段，所以不会产生竞争，push和steal不需要对一个元素竞争那么竞争就发生在pop和steal以及steal和steal中。比如：当前只有一个bth在队列里，tg1想从rq里pop一个，t
QT中一个A线程启动B线程，当B线程启动后需要A线程给B线程一个信号B线程才继续执行后续代码，请问怎么实现
02-17
在 Qt 中可以使用信号槽机制来实现线程间的通信。 具体实现步骤如下： 1. 定义一个继承自 QThread 的线程类 BThread，重写其 run() 方法，该方法中可以通过调用 wait() 函数来等待 A 线程发出信号。 ``` class BThread : public QThread { Q_OBJECT public: void run() override { // 等待 A 线程发出信号 wait(); // 执行 B 线程的后续代码 // ... } signals: void startSignal(); }; ``` 2. 在 A 线程中创建一个 BThread 类的实例，然后连接 BThread 实例的 startSignal() 信号和 A 线程的槽函数，当 A 线程发出该信号时，B 线程就可以开始执行后续代码。 ``` class AThread : public QThread { public: void run() override { // 创建 B 线程的实例 BThread bThread; // 连接 startSignal() 信号和槽函数 connect(&bThread, &BThread::startSignal, this, [](){ // 发出信号，通知 B 线程开始执行 emit startSignal(); }); // 启动 B 线程 bThread.start(); // ... } signals: void startSignal(); }; ``` 3. 在 B 线程中等待 A 线程发出信号的函数中，使用 QWaitCondition 类来进行等待，当 A 线程调用 startSignal() 信号时，可以通过调用 QWaitCondition 类的 wakeAll() 函数来唤醒 B 线程继续执行后续代码。 ``` class BThread : public QThread { Q_OBJECT public: void run() override { QMutex mutex; QWaitCondition waitCondition; mutex.lock(); // 等待 A 线程发出信号 waitCondition.wait(&mutex); mutex.unlock(); // 执行 B 线程的后续代码 // ... } signals: void startSignal(); }; ``` 通过以上步骤，就可以在 A 线程启动 B 线程后，通过信号槽机制实现 A 线程给 B 线程发送信号，让 B 线程继续执行后续代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值