linux c++线程池实现 - tbsys实现详解

最新推荐文章于 2021-09-14 17:12:26 发布
最新推荐文章于 2021-09-14 17:12:26 发布
阅读量3.6k 收藏 5
点赞数 1
分类专栏： linux基础 文章标签： 线程池 开源代码 阿里
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/michaelyang_yz/article/details/49056213
版权

linux线程池 - tbsys实现详解

一年前刚刚毕业入职还会写几篇博客，后来项目取消开源要求员工删除博客，写博客这件事情就荒废了。一年后，回忆一下，如果不养成写东西的习惯可能很难积累下知识，成长会慢很多。现在还是继续写吧，也可以读读其它开源代码写一写。

tbsys是阿里的一份开源代码，在阿里集团广泛应用，由多隆大神创作，内部代码实现有很多精致巧妙的地方。

今天学习下tbsys的线程池实现。

实现框架

tbsys线程池类图

Runnable类

该类是一个抽象类，拥有run的纯虚方法。该类主要提供给CThread类使用。

CThread类

该类对Linux线程方法做了一个简单的封装，实现了方法：

  • start 起一个线程，开始运行
  • join 等待线程退出
  • getRunnable 得到Runnable对象
  • getArgs 得到回调参数
  • getpid 获得线程id，linux系统中的id号
  • hook 线程回调函数，静态方法

CDefaultRunnable类

该类继承自Runnable，是真正的thread_pool。该类实现了方法：

  • setThreadCount 设置线程数
  • start 启动thread_count个线程，开始运行
  • stop 设置类内_stop变量，在该类中没有实际意义
  • wait 等待子线程退出，防止主线程先结束

使用方法

使用tbsys线程池时，具体业务类继承CDefaultRunnable类，实现Runnable类R中的run方法，通过setThreadCount设置线程数目，调用start方法启动线程池，然后调用wait方法等待退出。

实现思路

1、在CDefaultRunnable类中，start方法会申请thread_count个CThread类，然后用指向自身的this指针和thread index作为参数调用这thread_count个CThread变量的start方法。

2、CThread类的start方法，将传入的Runnable(CDefaultRunnable)指针赋值给自身runnable成员。然后通过pthread_create启动线程，同时用自身的静态方法hook作为线程回调函数。又把指向自己的this指针作为参数。

3、CThread的hook函数从入参中获取CThread变量，又通过CThread变量获取runnable成员，调用runnable成员的run函数。

代码

/*
 * (C) 2007-2010 Taobao Inc.
 *
 * This program is free software; you can redistribute it and/or modify
 * it under the terms of the GNU General Public License version 2 as
 * published by the Free Software Foundation.
 *
 *
 * Version: $Id$
 *
 * Authors:
 *   duolong <duolong@taobao.com>
 *
 */

#ifndef TBSYS_RUNNABLE_H_
#define TBSYS_RUNNABLE_H_

namespace tbsys {

/** 
 * @brief Runnable是一个抽象类，它拥有一个run纯虚方法
 * 主要用于Thread类  
 */
class Runnable {

public:
    /*
     * 析构
     */
    virtual ~Runnable() {
    }
    /**
     * 运行入口函数
     */
    virtual void run(CThread *thread, void *arg) = 0;
};

}

#endif /*RUNNABLE_H_*/

/*
 * (C) 2007-2010 Taobao Inc.
 *
 * This program is free software; you can redistribute it and/or modify
 * it under the terms of the GNU General Public License version 2 as
 * published by the Free Software Foundation.
 *
 *
 * Version: $Id$
 *
 * Authors:
 *   duolong <duolong@taobao.com>
 *
 */

#ifndef TBSYS_THREAD_H_
#define TBSYS_THREAD_H_

#include <linux/unistd.h>

namespace tbsys {

/** 
 * @brief 对linux线程简单封装 
 */
class CThread {

public:
    /**
     * 构造函数
     */
    CThread() {
        tid = 0;
        pid = 0;
    }

    /**
     * 起一个线程，开始运行
     */
    bool start(Runnable *r, void *a) {
        runnable = r;
        args = a;
        return 0 == pthread_create(&tid, NULL, CThread::hook, this);
    }

    /**
     * 等待线程退出
     */
    void join() {
        if (tid) {
            pthread_join(tid, NULL);
            tid = 0;
            pid = 0;
        }
    }

    /**
     * 得到Runnable对象
     * 
     * @return Runnable
     */
    Runnable *getRunnable() {
        return runnable;
    }

    /**
     * 得到回调参数
     * 
     * @return args
     */
    void *getArgs() {
        return args;
    }

    /***
     * 得到线程的进程ID
     */
    int getpid() {
        return pid;
    }

    /**
     * 线程的回调函数
     * 
     */

    static void *hook(void *arg) {
        CThread *thread = (CThread*) arg;
        thread->pid = gettid();

        if (thread->getRunnable()) {
            thread->getRunnable()->run(thread, thread->getArgs());
        }

        return (void*) NULL;
    }

private:    
    /**
     * 得到tid号
     */
    #ifdef _syscall0
    static _syscall0(pid_t,gettid)
    #else
    static pid_t gettid() { return static_cast<pid_t>(syscall(__NR_gettid));}
    #endif

private:
    pthread_t tid;      // pthread_self() id
    int pid;            // 线程的进程ID
    Runnable *runnable;
    void *args;
};

}

#endif /*THREAD_H_*/

/*
 * (C) 2007-2010 Taobao Inc.
 *
 * This program is free software; you can redistribute it and/or modify
 * it under the terms of the GNU General Public License version 2 as
 * published by the Free Software Foundation.
 *
 *
 * Version: $Id$
 *
 * Authors:
 *   duolong <duolong@taobao.com>
 *
 */

#ifndef TBSYS_DEFAULT_RUNNABLE_H_
#define TBSYS_DEFAULT_RUNNABLE_H_

namespace tbsys {

/** 
 * @brief 线程执行具体的业务的封装类,同时它维护了一个线程数据，也可以将此类
 * 看成一个线程池类
 */
class CDefaultRunnable : public Runnable {

public:
    /**
     * 构造
     */
    CDefaultRunnable(int threadCount = 1);

    /**
     * 析构
     */
    virtual ~CDefaultRunnable();

    /**
     * 设置线程数
     */
    void setThreadCount(int threadCount);

    /** 
     * create %_threadCount threads
     * @return started thread count;
     */
    int start();

    /**
     * stop
     */
    void stop();

    /**
     * wait
     */
    void wait();

protected:    
    CThread *_thread;
    int _threadCount;
    bool _stop;
};

}

#endif /*RUNNABLE_H_*/

/*
 * (C) 2007-2010 Taobao Inc.
 *
 * This program is free software; you can redistribute it and/or modify
 * it under the terms of the GNU General Public License version 2 as
 * published by the Free Software Foundation.
 *
 *
 * Version: $Id$
 *
 * Authors:
 *   duolong <duolong@taobao.com>
 *
 */

#include "tbsys.h"

namespace tbsys {

/**
 * 构造
 */
CDefaultRunnable::CDefaultRunnable(int threadCount) {
    _stop = false;
    _threadCount = threadCount;
    _thread = NULL;
}
/*
 * 析构
 */
CDefaultRunnable::~CDefaultRunnable() {
    if (_thread) {
        delete[] _thread;
        _thread = NULL;
    }
}

/**
 * 设置线程数
 */
void CDefaultRunnable::setThreadCount(int threadCount)
{
    if (_thread != NULL) {
        TBSYS_LOG(ERROR, "已经在运行了不能设置线程数");
        return;
    }
    _threadCount = threadCount;
}

// start
int CDefaultRunnable::start() {
    if (_thread != NULL || _threadCount < 1) {
        TBSYS_LOG(ERROR, "start failure, _thread: %p, threadCount: %d", _thread, _threadCount);
        return 0;
    }
    _thread = new CThread[_threadCount];
    if (NULL == _thread)
    {
        TBSYS_LOG(ERROR, "create _thread object failed, threadCount: %d", _threadCount);
        return 0;
    }
    int i = 0;
    for (; i<_threadCount; i++)
    {
        if (!_thread[i].start(this, (void*)((long)i)))
        {
          return i;
        }
    }
    return i;
}

// stop
void CDefaultRunnable::stop() {
    _stop = true;
}

// wait
void CDefaultRunnable::wait() {
    if (_thread != NULL)
    {
        for (int i=0; i<_threadCount; i++)
        {
            _thread[i].join();
        }
    }
}

}

END
勉仁
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LINUX_c++线程池
11-06
LINUX_c++线程池的一本书，讲解线程池的技术。
Linux线程池
tianmo2010的专栏
07-15 2016
一、线程池 大多数的网络服务器，包括Web服务器都具有一个特点，就是单位时间内必须处理数目巨大的连接请求，但是处理时间却是比较短的。在传统的多线程服务器模型中是这样实现的：一旦有个请求到达，就创建一个新的线程，由该线程执行任务，任务执行完毕之后，线程就退出。这就是"即时创建，即时销毁"的策略。尽管与创建进程相比，创建线程的时间已经大大的缩短，但是如果提交给线程的任务是执行时间较短，而且执行次
Linux C++ 一个线程池的简单实现（附代码）
一条鱼 + 一条鱼
07-20 259
这是对 pthread线程的一个简单应用 1.      实现了线程池的概念，线程可以重复使用。 2.      对信号量，互斥锁等进行封装，业务处理函数中只需写和业务相关的代码。 3.      移植性好。如果想把这个线程池代码应用到自己的实现中去，只要写自己的业务处理函数和改写工作队列数据的处理方法就可以了。   Sample代码主要包括一个...
Linux C++ 实现线程池
sinat_35297665的博客
01-20 2054
http://blog.csdn.net/qq_25425023/article/details/53914609 线程池中的线程，在任务队列为空的时候，等待任务的到来，任务队列中有任务时，则依次获取任务来执行，任务队列需要同步。   Linux线程同步有多种方法：互斥量、信号量、条件变量等。   下面是根据互斥量、信号量、条件变量封装的三个类。   线程池
C++线程池c-thread-pool-master.zip
最新发布
02-28
C++线程池c-thread-pool-master.zip
c++线程池经典实现方式demo
05-10
c++线程池经典实现方式demo
c++线程池实现方法
12-31
本文实例讲述了c++线程池实现方法。分享给大家供大家参考。具体分析如下： 下面这个线程池是我在工作中用到过的，原理还是建立一个任务队列，让多个线程互斥的在队列中取出任务，然后执行，显然，队列是要加锁的 ...
c++ 线程池实现及安全队列
05-09
利用c++ 实现线程池对线程管理，安全队列，并发处理
企业级跨平台C++线程池实现
12-27
企业级跨平台C++线程池实现，带vs工程例子，易于使用，功能完善，经过企业级的线上测试的C++线程池实现。
linux下c++线程池
11-20
一个简单好用的线程池，包括如何使用的demo，未考虑动态伸缩。 之前上传的那些线程池资源都不及这个。 用qtcreator可以直接打开。
Linux 线程池 C++
08-03
在Linux下做的一个完全抽象的基于c++语言的线程池
简单linux C++线程池
01-29
简单linux C++线程池实现 vector存储任务，封装类实现线程池功能。新手学习线程池的好机会，Makefile编译可直接运行。
LINUX C++ 线程池 框架
11-16
在计算机中发现的 拿出来分享 通用线程池框架由五个重要部分组成CThreadManage，CThreadPool，CThread，CJob，CWorkerThread，除此之外框架中还包括线程同步使用的类CThreadMutex和CCondition。
Linux C++ 线程池
danelumax2的专栏
09-30 820
在平时项目中我们经常需要多线程编程，提高系统的CPU利用率，但是如果需要用多线程处理类似轻量级、频率高的任务，因为创建一个线程或者删除一个线程是需要开销的;如果线程数量过大的话，cpu就会浪费很大的精力做线程切换，和创建、删除线程，甚至在系统开销中占很大的一部分，反而会大大降低系统的性能，碰到这种问题怎么办？ 线程池流程图 来源：朱翔 [点击放大] 自然而然，我们想
Linux C++线程池
weixin_30247307的博客
06-29 101
1、为什么需要线程池？ 部分应用程序需要执行很多细小的任务，对于每个任务都创建一个线程来完成，任务完成后销毁线程，而这就会产生一个问题：当执行的任务所需要的时间T1小于等于创建线程时间T2和销毁线程时间T3总和时即T1 <= T2 + T3，应用处理任务的响应能力会大大减弱，从而影响了应用程序性能，为了解决这类问题，线程池技术提供了很好的解决方案。线程池顾名思义就是把线程资源池化，...
linux C++ 简单的线程池
jinking01的专栏
09-14 168
线程池中维护了一个存放线程的数组以及一个任务队列。在创建线程池（构造函数中）时创建若干个线程，起始时由于任务队列中没有任务，创建的每一个线程都处于阻塞状态。使用pthread_create函数创建线程时把所有的线程与同一个函数关联在一起，也就是产生如下的代码： pthread_t p[5]; //线程池中有5个线程 for(int i = 0; i < 5; ++i) { pthread_create(&p[i], NULL, func, NULL); } ...
Linux C++线程池框架
weixin_30872157的博客
03-17 492
　　本文给出了一个通用的线程池框架，该框架将与线程执行相关的任务进行了高层次的抽象，使之与具体的执行任务无关。另外该线程池具有动态伸缩性，它能根据执行任务的轻重自动调整线程池中线程的数量。文章的最后，我们给出一个简单示例程序，通过该示例程序，我们会发现，通过该线程池框架执行多线程任务是多么的简单。 1. 为什么需要线程池 　　目前的大多数网络服务器，包括Web服务器、Email服务器以及数据库服...
LINUX c++线程池框架
zypuestc的专栏
02-25 2324
LINUX c++线程池框架 本文给出了一个通用的线程池框架，该框架将与线程履行相干的任务进行了高层次的抽象，使之与具体的履行任务无关。别的该线程池具有动态伸缩性，它能按照履行任务的轻重主动调剂线程池中线程的数量。文章的最后，我们给出一个简单示例法度，经由过程该示例法度，我们会发明，经由过程该线程池框架履行多线程任务是多么的简单。 为什么须要线程池 今朝的大多半收集办事器，包含Web办事器、
c++线程池实现tcp服务器
07-01
### 回答1： 线程池是一种常用的多线程处理技术，可以用来实现TCP服务器。在TCP服务器中，当有客户端请求连接时，服务器需要为每个客户端请求创建一个新的线程来处理。 使用线程池的好处是可以减少线程创建和销毁的开销，并可以控制线程的数量，避免因过多线程而导致系统资源不足。 首先，创建一个线程池，可以使用Java中的ExecutorService类来实现。通过ExecutorService可以创建一个固定数量的线程池，并提供提交任务的方法。 接下来，初始化一个ServerSocket对象来监听客户端的连接请求。当有客户端连接请求到达时，服务器调用线程池的submit方法提交一个任务，用于处理客户端的请求。 在任务的处理过程中，服务器通过accept方法接受客户端的连接，并创建一个新的Socket对象用于与客户端进行通信。然后，将Socket对象传递给任务的处理函数，用于处理客户端的请求。 任务的处理函数可以自定义，可以根据具体的需求来编写。在任务处理完成后，服务器关闭与客户端的连接，并将线程重新放回线程池中。 使用线程池实现TCP服务器可以提高服务器的效率和性能，因为线程池可以重复利用线程，避免了频繁创建和销毁线程的开销。同时，通过控制线程的数量，可以避免因过多线程而导致系统资源不足的问题。 ### 回答2： 线程池是一种用于管理和复用线程的机制，通过线程池可以提高线程的利用率，降低线程创建和销毁的开销。使用线程池可以实现TCP服务器，下面是一个基本的实现思路： 1. 创建一个固定大小的线程池，可以通过ThreadPoolExecutor类来实现。线程池的大小可以根据服务器的实际需求进行调整，一般根据服务器的处理能力和并发连接数来确定。 2. 创建一个ServerSocket对象，用于监听客户端的连接请求。 3. 在服务器的主线程中，通过一个循环不断地接受客户端的连接请求。当有新的连接请求时，将其封装为一个任务，并提交给线程池进行处理。可以使用execute()或submit()方法来提交任务。 4. 在任务中，首先需要通过Socket对象获取客户端的输入流和输出流，用于与客户端进行通信。可以使用BufferedReader和PrintWriter等类来简化输入输出操作。 5. 在任务中，可以根据具体的业务需求来处理客户端的请求。可以使用循环来不断接收客户端发送的数据。处理完客户端的请求后，通过输出流将响应结果返回给客户端。 6. 当任务处理完毕后，需要关闭输入流、输出流和Socket对象，释放资源。 7. 在循环中，如果达到了服务器的最大连接数或者其他限制条件，可以暂停接受新的连接请求，直到有已连接的客户端断开连接。 8. 当服务器不再需要监听新的连接请求时，需要关闭ServerSocket对象，停止监听。 通过以上步骤，可以使用线程池来实现TCP服务器。线程池可以提高服务器的并发处理能力，避免因为大量的连接请求导致线程创建过多而耗尽系统资源。同时，线程池还可以复用线程，避免频繁创建和销毁线程的开销，提高系统的性能和响应速度。 ### 回答3： 线程池是一种用于管理和复用线程的机制，可以提高并发性和线程资源的利用率。在实现TCP服务器时，使用线程池可以有效地处理多客户端的请求。 首先，我们需要创建一个线程池来管理服务器的线程资源。线程池里的线程数根据服务器的需求来确定，可以根据实际情况调整线程数量。 接下来，我们需要创建一个服务器套接字，并绑定服务器的IP地址和端口号。然后，我们可以开始监听客户端的连接请求。 当有客户端连接请求到达时，服务器会接受连接并创建一个新的线程处理该客户端的请求。线程池会从线程池中取出一个空闲线程来处理请求，如果线程池中没有空闲线程，则任务将排队等待。 在线程池中处理客户端请求时，可以利用多线程的优势同时处理多个请求，提高服务器的并发性能。线程池会根据任务的处理时间和线程资源的可用性动态地分配线程。 在处理客户端请求的线程中，首先需要接收客户端发送的数据。然后，根据客户端的请求进行相应的处理，可以是发送数据给客户端，或者执行相应的操作。 处理完客户端请求后，线程将返回到线程池中，等待下一个任务的到来。这样可以避免频繁地创建和销毁线程，提高线程资源的利用率。 总结起来，通过使用线程池实现TCP服务器可以提高服务器的并发性和线程资源的利用率，更好地满足多客户端的请求。线程池可以动态地管理和复用线程，减少线程的创建和销毁开销，提高服务器的性能和可伸缩性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值