Linux下C线程池的实现

最新推荐文章于 2024-07-19 18:14:23 发布
最新推荐文章于 2024-07-19 18:14:23 发布
阅读量1.7k 收藏 19
点赞数
分类专栏： Userspace开发 文章标签： 线程池 http请求 tcp 客服端 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010872301/article/details/80421678
版权

  如何在嵌入式开发板上内置网页，通过多个客服端来同时访问呢？因为需要大量线程来处理网页的任务，为了避免频繁的申请释放线程所带来的开销，使用了线程池来操作！

源代码：

//服务端监听客服端访问网页的请求
#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <sys/select.h>
#include <fcntl.h>
#include "thread_pool.h"

void wb_fun(int sockfd,char *buff,int buff_len)
{	
	char head[]="HTTP/1.1 200 OK\r\n"					\
				 "Content-Type: text/html\r\n"		\
				 "\r\n";
	char err[]=	"HTTP/1.1 404 Not Found\r\n"		\
				 "Content-Type: text/html\r\n"		\
				 "\r\n"								\
				 "<HTML><BODY>File not found</BODY></HTML>";

	char filename[1024] = "";  //文件名
	char file[1024] = ""; //存储文件内容
	uint32_t	len = 0;
	
	if(sscanf(buff, "GET /%s", filename) != 0){
		int fd = open(filename,O_RDONLY);//打开文件
		if(fd == -1){       //打开失败
			send(sockfd, err, strlen(err), 0);
			perror("open");
		}
		else{
			send(sockfd, head, strlen(head), 0);
			bzero(file, sizeof(file));
			printf("open file:%s\n",filename);
			while ( (len = read(fd, file, sizeof(file))) != 0){//读取文件
				send(sockfd, file, len, 0);//发送文件
				bzero(file, sizeof(file));
			}
			close(fd);
			printf("close file:%s\n",filename);
		}
	}	
}

void *task_test(void *arg)
{
	int fd = (int) arg;
 	char recv_buff[1024];
	bzero(recv_buff,sizeof(recv_buff));
	int len = recv(fd, recv_buff, sizeof(recv_buff), 0);//接收数据
	if(len >0){
	printf("recv:%s\n",recv_buff);
	wb_fun(fd,recv_buff,sizeof(recv_buff));	                              
	}
	close(fd); //关闭连接	
	return NULL;
}

int main(int argc, char *argv[])
{
	struct sockaddr_in addr;
	bzero(&addr,sizeof(addr));
	addr.sin_family = AF_INET;
	addr.sin_port = htons(13000);
	addr.sin_addr.s_addr = htonl(INADDR_ANY);

	int sockfd = socket(AF_INET, SOCK_STREAM, 0);

	int temp = 1;
	setsockopt(sockfd,SOL_SOCKET,SO_REUSEADDR, &temp, sizeof(int));
	int res = bind(sockfd, (struct sockaddr *)&addr, sizeof(addr));
	if(res != 0){
		perror("bind");
	}
	//修改套接字为被动属性
	listen(sockfd, 5);												

	//创建文件监听																
	fd_set readfds,tmpfds;
	FD_ZERO(&readfds);
	FD_ZERO(&tmpfds);
	FD_SET(sockfd, &readfds);//将sockfd 加入读属性变化文件描述符
	
	//线程池 描述结构体
	pool_t pool;                    
	pool_init(&pool, 5);//初始化一个线程池，其中创建2个线程
	
	
	int fd = 0;
	while(1){
		tmpfds = readfds;
		res = select(1024, &tmpfds, NULL, NULL, NULL);
		if(res > 0){
			for(fd = 0; fd < 1024; fd ++){
				if(FD_ISSET(fd, &tmpfds)){//检查1~1024 谁在内
					if(fd == sockfd){//新连接建立
						int connect = accept(fd, NULL, NULL);
						FD_SET(connect, &readfds);//将新连接加入 监听
					}
					else{
							pool_add_task(&pool, task_test, (void *)fd);//添加一个任务
							FD_CLR(fd, &readfds); //清除描述符
					}
				}
			}
		}
	}
	pool_uninit(&pool);//删除线程池
	close(sockfd);
	return 0;
}



//功能：线程池
#include <stdio.h>
#include <stdlib.h>
#include <pthread.h>
#include <assert.h>

#include "thread_pool.h"

static void *pool_thread_server(void *arg);

/*********************************************************************
*功能:		初始化线程池结构体并创建线程
*参数:		
			pool：线程池句柄
			threads_limit：线程池中线程的数量
*返回值:	无
*********************************************************************/
void pool_init(pool_t *pool, int threads_limit)
{
	pool->threads_limit = threads_limit;
	pool->queue_head = NULL;
	pool->task_in_queue = 0;
	pool->destroy_flag = 0;
	/*创建存放线程ID的空间*/
	pool->threadid = (pthread_t *)calloc(threads_limit, sizeof(pthread_t));
	int i = 0;
	/*初始化互斥锁和条件变量*/
	pthread_mutex_init(&(pool->queue_lock), NULL);
	pthread_cond_init(&(pool->queue_ready), NULL);
	/*循环创建threads_limit个线程*/
	for (i = 0; i < threads_limit; i++){
		pthread_create(&(pool->threadid[i]), NULL, pool_thread_server, pool);
	}
	return;
}

/*********************************************************************
*功能:		销毁线程池，等待队列中的任务不会再被执行，
			但是正在运行的线程会一直,把任务运行完后再退出
*参数:		线程池句柄
*返回值:	成功：0，失败非0
*********************************************************************/
int pool_uninit(pool_t *pool)
{
	pool_task *head = NULL;
	int i;
	
	pthread_mutex_lock(&(pool->queue_lock));
	if(pool->destroy_flag)/* 防止两次调用 */
		return -1;
	pool->destroy_flag = 1;
	pthread_mutex_unlock(&(pool->queue_lock));
	/* 唤醒所有等待线程，线程池要销毁了 */
	pthread_cond_broadcast(&(pool->queue_ready));
	/* 阻塞等待线程退出，否则就成僵尸了 */
	for (i = 0; i < pool->threads_limit; i++)
		pthread_join(pool->threadid[i], NULL);
	free(pool->threadid);
	/* 销毁等待队列 */
	pthread_mutex_lock(&(pool->queue_lock));
	while(pool->queue_head != NULL){
		head = pool->queue_head;
		pool->queue_head = pool->queue_head->next;
		free(head);
	}
	pthread_mutex_unlock(&(pool->queue_lock));
	/*条件变量和互斥量也别忘了销毁*/
	pthread_mutex_destroy(&(pool->queue_lock));
	pthread_cond_destroy(&(pool->queue_ready));
	return 0;
}

/*********************************************************************
*功能:		向任务队列中添加一个任务
*参数:		
			pool：线程池句柄
			process：任务处理函数
			arg：任务参数
*返回值:	无
*********************************************************************/
static void enqueue_task(pool_t *pool, pool_task_f process, void *arg)
{
	pool_task *task = NULL;
	pool_task *member = NULL;
	
	pthread_mutex_lock(&(pool->queue_lock));
	
	if(pool->task_in_queue >= pool->threads_limit){
		printf("task_in_queue > threads_limit!\n");
		pthread_mutex_unlock (&(pool->queue_lock));
		return;
	}
	
	task = (pool_task *)calloc(1, sizeof(pool_task));
	assert(task != NULL);
	task->process = process;
	task->arg = arg;
	task->next = NULL;
	pool->task_in_queue++;
	member = pool->queue_head;
	if(member != NULL){
		while(member->next != NULL)	/* 将任务加入到任务链连的最后位置. */
			member = member->next;
		member->next = task;
	}else{
		pool->queue_head = task;	/* 如果是第一个任务的话,就指向头 */
	}
	printf("\ttasks %d\n", pool->task_in_queue);
	/* 等待队列中有任务了，唤醒一个等待线程 */
	pthread_cond_signal (&(pool->queue_ready));
	pthread_mutex_unlock (&(pool->queue_lock));
}

/*********************************************************************
*功能:		从任务队列中取出一个任务
*参数:		线程池句柄
*返回值:	任务句柄
*********************************************************************/
static pool_task *dequeue_task(pool_t *pool)
{
	pool_task *task = NULL;
	
	pthread_mutex_lock(&(pool->queue_lock));
	/* 判断线程池是否要销毁了 */
	if(pool->destroy_flag){
		pthread_mutex_unlock(&(pool->queue_lock));
		printf("thread 0x%lx will be destroyed\n", pthread_self());
		pthread_exit(NULL);
	}
	/* 如果等待队列为0并且不销毁线程池，则处于阻塞状态 */
	if(pool->task_in_queue == 0){
		while((pool->task_in_queue == 0) && (!pool->destroy_flag)){
			printf("thread 0x%lx is leisure\n", pthread_self());
			/* 注意:pthread_cond_wait是一个原子操作，等待前会解锁，唤醒后会加锁 */
			pthread_cond_wait(&(pool->queue_ready), &(pool->queue_lock));
		}
	}else{
		/* 等待队列长度减去1，并取出队列中的第一个元素 */
		pool->task_in_queue--;
		task = pool->queue_head;
		pool->queue_head = task->next;
		printf("thread 0x%lx received a task\n", pthread_self());
	}
	pthread_mutex_unlock(&(pool->queue_lock));
	return task;
}

/*********************************************************************
*功能:		向线程池中添加一个任务
*参数:		
			pool：线程池句柄
			process：任务处理函数
			arg：任务参数
*返回值:	0
*********************************************************************/
int pool_add_task(pool_t *pool, pool_task_f process, void *arg)
{
	enqueue_task(pool, process, arg);
	return 0;
}

/*********************************************************************
*功能:		线程池服务程序
*参数:		略
*返回值:	略
*********************************************************************/
static void *pool_thread_server(void *arg)
{
	pool_t *pool = NULL;
	
	pool = (pool_t *)arg;
	while(1){
		pool_task *task = NULL;
		task = dequeue_task(pool);
		/*调用回调函数，执行任务*/
		if(task != NULL){
			printf ("thread 0x%lx is busy\n", pthread_self());
			task->process(task->arg);
			free(task);
			task = NULL;
		}
	}
	/*这一句应该是不可达的*/
	pthread_exit(NULL);	 
	return NULL;
}

运行结果：

1、Makefile编译后执行./wbserver

2、客服端http请求：（根据自己的服务端进行IP修改，端口号可以在主函数里更改）

http://172.16.1.112:13000/html/index.html

 

下载

https://download.csdn.net/download/u010872301/10432781

 

 

 

cnhui2016
关注
  • 0
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux下C线程池实现
05-05
在Linux下用C写的一个简易线程池。系统是RedHat 9，gcc版本"gcc version 4.1.2 20071124 (Red Hat 4.1.2-42)"。文件夹里的源码是按工程组织好的，在文件夹下的test目录下面有一个小的测试程序和Makefile，编译后即可运行。测试过添加了300多个任务，同时并发256个线程，运行正常。不过在停止线程(包括系统空闲时减少线程数量)方面还没完全实现好，需要用的话可以自己添加或者暂时先不管这方面。 补充：利用7号中午的时间已经把上述的问题解决了，现已能正确的根据当前任务数动态减少线程。不过现在不方便也不想上传了，需要的话可以通过源文件中的邮箱联系我或在以后去google code下载。如果各位有好的建议，欢迎通过邮件联系。 -------- by vincent
linux下C语言实现线程池
12-25
下面是一个简单的线程池实现步骤： 1. **初始化线程池**：设置线程池大小，创建相应数量的工作线程，并初始化任务队列。 2. **创建任务**：定义任务结构体，包含任务函数和参数。 3. **提交任务**：将任务放入任务...
简单Linux C线程池的实现
nkguohao的专栏
03-26 923
转载自http://www.cnblogs.com/venow/archive/2012/11/22/2779667.html 大多数的网络服务器，包括Web服务器都具有一个特点，就是单位时间内必须处理数目巨大的连接请求，但是处理时间却是比较短的。在传统的多线程服务器模型中是这样实现的：一旦有个请求到达，就创建一个新的线程，由该线程执行任务，任务执行完毕之后，线程就退出。这就是"即时创建
Linux--实现线程池（万字详解）
最新发布
2301_76618602的博客
07-19 836
IT行业这么火, 涌入的人很多. 俗话说林子大了啥鸟都有. 大佬和菜鸡们两极分化的越来越严重. 为了让菜鸡们不太拖大佬的后腿, 于是大佬们针对一些经典的常见的场景, 给定了一些对应的解决方案, 这个就是 设计模式。
Linux C实现线程池
C++ 开发者的博客
12-05 1590
Linux C语言 线程池的实现 链表操作，锁 条件变量使用
linux C 简单线程池实现
快乐小半半的博客
08-11 445
线程过多会带来额外的开销，其中包括创建销毁线程的开销、调度线程的开销等等，同时也降低了计算机的整体性能。线程池维护多个线程，等待监督管理者分配可并发执行的任务。这种做法，一方面避免了处理任务时创建销毁线程开销的代价，另一方面避免了线程数量膨胀导致的过分调度问题，保证了对内核的充分利用。...
Linux系统编程——线程池
秋叶原 && Mike || 麦克
06-14 8423
线程池和传统的一个用户对应一个线程的处理方法不同，它的基本思想就是在程序开始时就在内存中开辟一些线程，线程的数目是固定的，他们独自形成一个类，屏蔽了对外的操作，而服务器只需要将数据包交给线程池就可以了。当有新的客户请求到达时，不是新创建一个线程为其服务，而是从“池子”中选择一个空闲的线程为新的客户请求服务，服务完毕后，线程进入空闲线程池中。如果没有线程空闲的话，就将数据包暂时积累， 等待线程池内有线程空闲以后再进行处理。通过对多个任务重用已经存在的线程对象，降低了对线程对象创建和销毁的开销。当客户请求 时，
linux线程池，c语言实现
01-06
以上就是关于“Linux线程池，C语言实现”的主要技术要点。实际的代码实现会涉及到这些概念的具体应用和细节处理。在开发过程中，要充分考虑线程池的扩展性、可靠性和效率，以满足不同应用场景的需求。
Linux C语言 线程池 状态机 并发处理Demo
02-07
本项目提供了一个关于“Linux C语言线程池、状态机和并发处理”的Demo，非常适合初学者理解和实践多线程技术。下面将详细阐述这些知识点。 首先，线程池是一种线程管理机制，它预先创建了一组线程，待有任务需要...
Linux C线程池简单实现实例
09-15
本实例提供了一个简单的Linux C线程池实现，可用于学习和实验。通过对线程池基本概念的理解，我们可以更高效地管理多线程程序中的线程生命周期，从而提高程序的整体性能。此外，通过深入分析源代码，还可以进一步...
linux 线程池 （C语言实现）
qq_44771537的博客
03-30 1376
线程池分为三个部分： 任务队列 工作线程，N个（任务队列的消费者） 管理者线程，1个 主要实现的函数： 创建线程池 线程池添加任务 销毁线程池 任务函数（做什么） 工作线程函数 管理者线程函数 线程池结构体： typedef struct ThreadPool { Task* taskQ; //任务队列 int queueCapacity; //容量 int queueSize; //当前任务个数 int queueFront; ...
线程池实例（Linux）
10-29
比较完整的线程池实例代码，Linux系统下完美运行
Linux线程池
tianmo2010的专栏
07-15 2048
一、线程池 大多数的网络服务器，包括Web服务器都具有一个特点，就是单位时间内必须处理数目巨大的连接请求，但是处理时间却是比较短的。在传统的多线程服务器模型中是这样实现的：一旦有个请求到达，就创建一个新的线程，由该线程执行任务，任务执行完毕之后，线程就退出。这就是"即时创建，即时销毁"的策略。尽管与创建进程相比，创建线程的时间已经大大的缩短，但是如果提交给线程的任务是执行时间较短，而且执行次
Linux下简单线程池的实现
NK_test的博客
03-09 4939
线程池的技术背景    在面向对象编程中，创建和销毁对象是很费时间的，因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是如此，虚拟机将试图跟踪每一个对象，以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数，特别是一些很耗资源的对象创建和销毁。如何利用已有对象来服务(不止一个不同的任务)就是一个需要解决的关键问题，其实这就是一些"池
Linux-C实现线程池
Ivan_zcy的博客
03-11 1677
文章目录池内存池进程池线程池概念组成结构应用代码实现 池 ​ 池是一组资源的集合，这组资源在服务器启动之初就被创建和初始化，这称为静态资源分配。它避免了服务器对内核的频繁访问，提高了效率。 ​ 常见的池有进程池，线程池，内存池 内存池 ​ 先申请一定数量，大小相等的内存块备用。有新的内存需求时，就从内存池中分出一部分内存块，若内存不足则继续申请新的内存。内存池使内存分配效率得到提升 进程池 ​ 进...
Linux C 实现线程池
dolphin98629的专栏
05-26 1013
最近做的一些工作需要用到线程池技术，因此参考了一些资料和书籍，如《0bug c/c++商用工程之道》。为此在linux平台上用纯c写了一个线程池的实现。 在此列出了原代码。 主要用到的数据结构有 1.struct  thread_pool_t    // thread pool 的实现代码2.struct thread_pool_token_t    //在thread
Linux下C实现线程池
菜鸟成长记
06-01 870
线程池的背景在传统服务器结构中, 常是有一个总的监听线程监听有没有新的用户连接服务器, 每当有一个新的 用户进入, 服务器就开启一个新的线程用户处理这 个用户的数据包。这个线程只服务于这个用户 , 当 用户与服务器端关闭连接以后, 服务器端销毁这个线程。然而频繁地开辟与销毁线程极大地占用了系统的资源。而且在大量用户的情况下, 系统为了开辟和销毁线程将浪费大量的时间和资源。线程池提供了一个解决外部大量
linux下C线程池的实现
weixin_30315905的博客
03-19 81
什么时候需要创建线程池呐？简单地说，如果一个应用需要平凡的创建和销毁线程，而任务执行的时间有非常的短，这样线程的创建和销毁的带来的开销就非常不容忽视，这时也是线程池该出场的时候了。如果线程创建和销毁时间相比任务执行时间可以忽略不计，则没有必要使用线程池了。 下面是linux系统下使用C语言创建的一个线程池。线程池会维护一个任务链表（每一个cthread_worker结构就是一个任务）。 ...
Linux服务器线程池实现与优化
在C/C++中实现线程池，可以使用POSIX线程库(PTHREAD)，提供线程创建、同步和销毁的接口。此外，还可以结合信号量、条件变量等同步原语来控制线程间的通信和协作。 总结来说，Linux环境下的通用线程池设计是一种有效...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值