Linux环境，C/C++语言手写代码实现线程池

最新推荐文章于 2023-05-23 14:22:47 发布
最新推荐文章于 2023-05-23 14:22:47 发布
阅读量1.8k 收藏 7
点赞数
分类专栏： Linux后台开发 Linux服务器开发 线程池 文章标签： 线程池 C/C++ Linux 服务端开发 Linux后台开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Linuxhus/article/details/123873010
版权

前言

在我们日常生活中会遇到许许多多的问题，如果一个服务端要接受很多客户端的数据，该怎么办？多线程并发内存不够怎么办？所以我们需要了解线程池的相关知识。

一、线程池是什么？

1.线程池的简介

线程池是一种多线程处理形式，处理过程中将任务添加到队列，然后在创建线程后自动启动这些任务。线程池线程都是后台线程。每个线程都使用默认的堆栈大小，以默认的优先级运行，并处于多线程单元中。如果某个线程在托管代码中空闲（如正在等待某个事件）,则线程池将插入另一个辅助线程来使所有处理器保持繁忙。如果所有线程池线程都始终保持繁忙，但队列中包含挂起的工作，则线程池将在一段时间后创建另一个辅助线程但线程的数目永远不会超过最大值。超过最大值的线程可以排队，但他们要等到其他线程完成后才启动。

推荐一个零声学院免费公开课程，个人觉得老师讲得不错，分享给大家：C/C++ ,Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK等技术内容，点击立即学习

2.线程池的组成

1、线程池管理器（ThreadPoolManager）:用于创建并管理线程池

2、工作线程（WorkThread）: 线程池中线程

3、任务接口（Task）:每个任务必须实现的接口，以供工作线程调度任务的执行。

4、任务队列:用于存放没有处理的任务。提供一种缓冲机制。

3.线程池的主要优点

1.避免线程太多，使得内存耗尽

2.避免创建与销毁线程的代价

3.任务与执行分离

二、代码实现

1.线程池结构体定义

代码如下（示例）：

struct nTask {

	void (*task_func)(struct nTask* task);
	void* user_data;
	struct nTask* prev;
	struct nTask* next;
};


struct nWorker {
	pthread_t threadid;
	int terminate;
	struct nManager* manager;
	struct nWorker* prev;
	struct nWorker* next;
};


typedef struct nManager {
	struct nTask* tasks;
	struct nWorker* workers;
	pthread_mutex_t mutex;//定义互斥锁
	pthread_cond_t cond;//条件变量
}ThreadPool;

2.接口定义

代码如下（示例）：

//API
int nThreadPoolCreate(ThreadPool* pool, int numWorkers) {

	if (pool == NULL) return -1;
	if (numWorkers < 1) numWorkers = 1;
	memset(pool, 0, sizeof(ThreadPool));

	pthread_cond_t blank_cond = PTHREAD_COND_INITIALIZER;
	memcpy(&pool->cond, &blank_cond, sizeof(pthread_cond_t));

	pthread_mutex_t blank_mutex = PTHREAD_MUTEX_INITIALIZER;
	memcpy(&pool->mutex, &blank_mutex, sizeof(pthread_mutex_t));

	int i = 0;
	for (i = 0; i < numWorkers; i++) {
		struct nWorker* worker = (struct nWorker*)malloc(sizeof(struct nWorker));
		if (worker == NULL) {
			perror("malloc");
			return -2;
		}
		memset(worker, 0, sizeof(struct nWorker));
		worker->manager = pool;

		int ret = pthread_create(&worker->threadid, NULL, nThreadPoolCallback, worker);
		if (ret) {
			perror("pthread_create");
			free(worker);
			return -3;
		}
		LIST_INSERT(worker, pool->workers);

	}

	return 0;
}

//API
int nThreadPoolDestory(ThreadPool* pool, int nWorker) {

	struct nWorker* worker = NULL;

	for (worker = pool->workers; worker != NULL; worker = worker->next) {
		worker->terminate;
	}

	pthread_mutex_lock(&pool->mutex);

	pthread_cond_broadcast(&pool->cond);//唤醒所有线程

	pthread_mutex_unlock(&pool->mutex);

	pool->workers = NULL;
	pool->tasks = NULL;

	return 0;

}

//API
int nThreadPoolPushTask(ThreadPool* pool, struct nTask* task) {

	pthread_mutex_lock(&pool->mutex);

	LIST_INSERT(task, pool->tasks);

	pthread_cond_signal(&pool->cond);//唤醒一个线程

	pthread_mutex_unlock(&pool->mutex);

}

3.回调函数

代码如下（示例）：

static void* nThreadPoolCallback(void* arg) {

	struct nWorker* worker = (struct nWorker*)arg;

	while (1)
	{
		pthread_mutex_lock(&worker->manager->mutex);
		while (worker->manager->tasks == NULL) {
			if (worker->terminate)break;
			pthread_cond_wait(&worker->manager->cond, &worker->manager->mutex);
		}

		if (worker->terminate) {
			pthread_mutex_unlock(&worker->manager->mutex);
			break;
		}

		struct nTask* task = worker->manager->tasks;
		LIST_REMOVE(task, worker->manager->tasks);

		pthread_mutex_unlock(&worker->manager->mutex);

		task->task_func(task);
	}

	free(worker);
	return;
}

4.全部代码（加注释）

代码如下（示例）：

#include<stdio.h>
#include<string.h>
#include<stdlib.h>
#include<pthread.h>//Linux编程使用线程相关的就会用到这个，编译的时候还要加-lpthread，用pthread动态库


#define LIST_INSERT(item,list) do{	\			//链表的增加
		item->prev = NULL;			\
		item->next = list;			\
	if((list)!=NULL)(list)->prev=item;	\
		(list) = item;				\
}while(0)


#define LIST_REMOVE(item,list)do{	\			//链表的删除
		if (item->prev != NULL) item->prev->next = item->next;	\
		if (item->next != NULL) item->next->prev = item->prev;	\
		if (item == list) list = item->next;					\
		item->prev = item->next = NULL;							\
}while(0)




struct nTask {		//任务

	void (*task_func)(struct nTask* task);
	void* user_data;

	struct nTask* prev;
	struct nTask* next;
};


struct nWorker {	//工作
	pthread_t threadid;
	int terminate;	//用来判断工作是否结束，以便于终止
	struct nManager* manager;	//可以用来查看任务

	struct nWorker* prev;
	struct nWorker* next;
};


typedef struct nManager {	//管理
	struct nTask* tasks;
	struct nWorker* workers;

	pthread_mutex_t mutex;//定义互斥锁，也可以用自旋锁
	pthread_cond_t cond;//条件变量
}ThreadPool;

//callback!=task
static void* nThreadPoolCallback(void* arg) {

	struct nWorker* worker = (struct nWorker*)arg;	//接受pthread_create传来的参数

	while (1)	//默认一直执行
	{
		pthread_mutex_lock(&worker->manager->mutex);//加锁
		while (worker->manager->tasks == NULL) {
			if (worker->terminate)break;
			pthread_cond_wait(&worker->manager->cond, &worker->manager->mutex);//如果没有任务就等待
		}

		if (worker->terminate) {
			pthread_mutex_unlock(&worker->manager->mutex);//解锁
			break;
		}

		struct nTask* task = worker->manager->tasks;
		LIST_REMOVE(task, worker->manager->tasks);

		pthread_mutex_unlock(&worker->manager->mutex);

		task->task_func(task);
	}

	free(worker);
	return;
}


//API
int nThreadPoolCreate(ThreadPool* pool, int numWorkers) {

	if (pool == NULL) return -1;
	if (numWorkers < 1) numWorkers = 1;//如果任务数量小于1，就默认为1
	memset(pool, 0, sizeof(ThreadPool));

	pthread_cond_t blank_cond = PTHREAD_COND_INITIALIZER;//创建互斥量cond，静态全局
	memcpy(&pool->cond, &blank_cond, sizeof(pthread_cond_t));

	//pthread_mutex_init(&pool->mutex, NULL);
	pthread_mutex_t blank_mutex = PTHREAD_MUTEX_INITIALIZER;//创建互斥锁，静态全局
	memcpy(&pool->mutex, &blank_mutex, sizeof(pthread_mutex_t));

	int i = 0;
	for (i = 0; i < numWorkers; i++) {
		struct nWorker* worker = (struct nWorker*)malloc(sizeof(struct nWorker));
		if (worker == NULL) {
			perror("malloc");
			return -2;
		}
		memset(worker, 0, sizeof(struct nWorker));
		worker->manager = pool;

		int ret = pthread_create(&worker->threadid, NULL, nThreadPoolCallback, worker);
		if (ret) {
			perror("pthread_create");
			free(worker);
			return -3;
		}
		LIST_INSERT(worker, pool->workers);
	}

	return 0;
}

//API
int nThreadPoolDestory(ThreadPool* pool, int nWorker) {

	struct nWorker* worker = NULL;

	for (worker = pool->workers; worker != NULL; worker = worker->next) {
		worker->terminate;
	}

	pthread_mutex_lock(&pool->mutex);

	pthread_cond_broadcast(&pool->cond);//唤醒所有线程

	pthread_mutex_unlock(&pool->mutex);

	pool->workers = NULL;//置空
	pool->tasks = NULL;//置空

	return 0;

}

//API
int nThreadPoolPushTask(ThreadPool* pool, struct nTask* task) {

	pthread_mutex_lock(&pool->mutex);

	LIST_INSERT(task, pool->tasks);

	pthread_cond_signal(&pool->cond);//唤醒一个线程

	pthread_mutex_unlock(&pool->mutex);

}




#if 1

#define THREADPOOL_INIT_COUNT	20
#define TASK_INIT_SIZE			1000


void task_entry(struct nTask* task) {

	int idx = *(int*)task->user_data;

	printf("idx: %d\n", idx);

	free(task->user_data);
	free(task);
}


int main(void) {

	ThreadPool pool = { 0 };
	nThreadPoolCreate(&pool, THREADPOOL_INIT_COUNT);

	int i = 0;
	for (i = 0; i < TASK_INIT_SIZE; i++) {
		struct nTask* task = (struct nTask*)malloc(sizeof(struct nTask));
		if (task == NULL) {
			perror("malloc");
			exit(1);
		}
		memset(task, 0, sizeof(struct nTask));

		task->task_func = task_entry;
		task->user_data = malloc(sizeof(int));
		*(int*)task->user_data = i;


		nThreadPoolPushTask(&pool, task);
	}

	getchar();//防止主线程提前结束任务

}


#endif
总结

总结

关于线程池是基本代码就在上面了，关于编程这一部分内容，我建议大家还是要自己去动手实现，如果只是单纯的看了一遍，知识这块可能会记住，但是操作起来可能就比较吃力，万事开头难，只要坚持下去，总会有结果的。

参考资料

C/C++ Linux后台高级开发

内容包括C++工程化、高性能及分布式、深入浅出。性能调优、TCP，协程，Nginx源码分析Nginx，ZeroMQ，MySQL，Redis，MongoDB，ZK，Linux内核，P2P，K8S，Docker，TCP/IP，协程，DPDK多个高级知识点。

以下视频学习资料获取点击：C++架构师学习资料

​

 

Linux服务器开发
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
线程池实现简单案例（C语言）
向往天空的鱼
09-07 1228
C语言简单实现线程池案例
Linux/C++——线程池
最新发布
m0_70289867的博客
05-08 491
线程池其实就是一种多线程处理形式，处理过程中可以将任务添加到队列中，然后在创建线程后自动启动这些任务。
Linux中基于c/c++多线程编程学习杂记：c语言手写线程池
m0_68731112的博客
05-23 284
文章转载自爱编程的大丙
线程池讲解（C++）|LinuxC/C++服务器开发
C/C++Linux、音视频、DPDK
05-21 573
1. 前言 线程池是一般服务端或者客户端编程经常要用到的一种管理线程的类，从网上找到一个比较好的线程池实现，主要运用C++11。记录一下理解过程，帮助学习线程池和C++11。 150行代码手写线程池 ：https://www.bilibili.com/video/BV1yQ4y1o7zv/ 2. 代码 2.1 先上代码 threadPool.hpp /* * @Author WangYubo * @Date 09/17/2018 * @Description 线程池实现的头文件 */ #ifnd
【Linux网络编程】Epoll 的实现原理分析
CopperSun 技术博客
05-05 362
【Linux网络编程】Epoll 的实现原理分析 【1】Epoll 数据结构 Epitem 对应于每一个 IO 事件；比如 epoll_ctl EPOLL_CTL_ADD 操作的时候，就需要创建一个 epitem； Eventpoll 对应于每一个 epoll 实例；比如 epoll_create 就是创建一个 eventpoll； Epitem 的定义 struct epitem { RB_ENTRY(epitem) rbn; // 红黑树的节点 LIST_ENTRY(epitem) rd
NI采集卡 linux下C/C++语言demo
01-23
标题 "NI采集卡 Linux下C/C++语言demo" 涉及到的是使用National Instruments（NI）的DAQmx（数据采集和测量系统）驱动在Linux操作系统中进行数据采集的编程实践。NI采集卡是一种用于实验测量和控制的硬件设备，能够...
密码学：C／C++语言实现(第2版)
04-27
密码学：C/C++语言实现(原书第2版)主要阐述如何使用C和C++语言实现密码学算法，包括编写专家级的密码所需要掌握的知识和技术，以及如何安全并高效地实现密码学算法。第2版包括了许多全新内容，同时对原有内容进行了...
Linux下c/c++项目代码覆盖率的产生方法
01-20
近做了一系列的单元测试相关的工作，除了各种规范及测试框架以外，讨论比较多的是关于代码覆盖率的产生，c/c++与其他的一些高级语言或者脚本语言相比较而言，例如 Java、.Net和php/python/perl/shell等，由于没有...
C/C++实现linux和Windows查看系统、进程、服务的内存和CPU使用
11-30
C/C++实现linux和Windows查看系统、进程、服务的内存和CPU使用情况的源代码，生成的是静态链接库，Windows和Linux下经测试都可用，查看系统、指定名称的服务、指定名称的进程占用CPU和内存，查看方式不是通过程序中...
C语言/C++基础之实现绕线画代码
12-20
C语言/C++基础之实现绕线画代码，适合初学C语言/C++的小伙伴学习研究，博客中有对应的讲解和演示，避免走弯路，费时费力。也真心希望能够帮助正在苦学C语言/C++ 程序设计的小伙伴们，你们的成长是我最大的幸福
linux 线程池源码 c++版
03-07
这是一个很好很稳定的线程池源码，我自己项目中使用的，跑的很稳定，也很好扩展
LINUX_c++线程池
11-06
LINUX_c++线程池的一本书，讲解线程池的技术。
Linux 线程池 C++
08-03
在Linux下做的一个完全抽象的基于c++语言的线程池
C++封装的linux下的线程池
12-28
C++封装的linux下的可动态增减的线程池，总共有三个源文件： main.cpp 为例子程序，ThreadPool.cpp和ThreadPool.h为线程池实现文件，仅供学习交流使用
Linux下c语言多线程编程
热门推荐
m0_47170940的博客
03-30 1万+
创建线程函数pthread_create()和等待线程函数pthread_join()的用法。 注意：在创建线程pthread_create()之前，要先定义线程标识符： pthread_t 自定义线程名； 例子1：创建线程以及等待线程执行完毕。 #include <stdio.h> #include <stdlib.h> #include <pthread.h> //线程要运行的函数，除了函数名myfunc，其他全都是固定的。 void* myfunc() { p
List对象remove方法的使用
madman0621的博客
08-02 2060
一、源程序String str1 = new String("1"); List.remove() Iterator it = list.iterator(); while(it.hasNext()) { String str = (String) it.next();//next方法必须被调用，且必须在remove()方法前被执行 it.remove(); }
List遍历删除元素remove()，linux操作系统及应用技术课后答案
m0_54861402的博客
12-31 285
} } return false; } /* Private remove method that skips bounds checking and does not return the value removed. */ private void fastRemove(int index) { modCount++; int numMoved = size - index - 1; if (numMoved > 0) //remove会导致之后的元素往前移动，而下标不改变时就会出现b
linux c++线程池实现 - tbsys实现详解
Michael Yang的专栏
10-11 3670
linux线程池 - tbsys实现详解一年前刚刚毕业入职还会写几篇博客，后来项目取消开源要求员工删除博客，写博客这件事情就荒废了。一年后，回忆一下，如果不养成写东西的习惯可能很难积累下知识，成长会慢很多。现在还是继续写吧，也可以读读其它开源代码写一写。tbsys是阿里的一份开源代码，在阿里集团广泛应用，由多隆大神创作，内部代码实现有很多精致巧妙的地方。今天学习下tbsys的线程池实现。实现框架Ru
linuxc/c++GDB教程详解
03-02
学习使用了GDB一段时间后，发现它真的好强大！好用！GDB是GNU开源组织发布的一个强大的UNIX下的程序调试工具。或许，各位比较喜欢那种图形界面方式的，像VC、BCB等IDE的调试，但如果你是在UNIX平台下做软件，你会发现GDB这个调试工具有比VC、BCB的图形化调试器更强大的功能。所谓“寸有所长，尺有所短”就是这个道理。一般来说，GDB主要帮忙你完成下面四个方面的功能：从上面看来，GDB和一般的调试工具没有什么两样，基本上也是完成这些功能，不过在细节上，你会发现GDB这个调试工具的强大，大家可能比较习惯了图形化的调试工具，但有时候，命令行的调试工具却有着图形化工具所不能完成的功能。让我们

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值