实现一个数据库（6）线程池

最新推荐文章于 2022-02-23 14:39:50 发布
最新推荐文章于 2022-02-23 14:39:50 发布
阅读量346 收藏
点赞数 1
分类专栏： MyDB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pourtheworld/article/details/106824286
版权
本文详细介绍了如何实现一个数据库中的线程池（EDUMgr），包括EDU（Engine Dispatchable Unit）调度单元的创建、状态转换和事件管理。EDU有TCPListener和Agent两种类型，分别处理监听和客户端交互。通过EDUMgr控制EDU的状态，如CREATE、START、ACTIVATE、DESTROY等，并维护RUN和IDLE队列。还展示了如何整合服务端和客户端，使用假插入操作进行C/S模拟。
摘要由CSDN通过智能技术生成

github链接(更新中)

https://github.com/pourtheworld/mydb

大纲（更新中）
（0）mydb的架构设想

本期任务

  1. 建立EDU（Engine Dispatchable Unit）引擎调度单元类。
  2. 建立EDUEvent（EDU event）EDU事件类。
  3. 定义并实现EDU各个状态和转换事件。
  4. 建立EDUMgr（EDU Manager）线程池。
  5. 定义TCPListener、Agent类型EDU的入口函数。
  6. 对服务端的主函数以及客户端进行整合，用假insert模拟。
  7. 进行简单C/S模拟。

EDU（Engine Dispatchable Unit）引擎调度单元类

  1. EDU类型。
  2. TCPListener、Agent的处理流程。
  3. TCPListener的入口函数。
  4. EDU的控制封装类。

除了主线程以外，其他的线程我们都称为EDU。
我们会先抽象出EDU的类型：

//EDU类型，实际上只有2种：TCP监听以及Agent代理
	enum EDU_TYPES
	{
   
		EDU_TYPE_TCPLISTENER=0,
		EDU_TYPE_AGENT,
	
		EDU_TYPE_UNKNOWN,
		EDU_TYPE_MAXIMUM=EDU_TYPE_UNKNOWN
	};

在这里插入图片描述
处理流程：

首先由TCPListener的EDU会调用TCPListener的入口函数，负责监听客户端的TCP请求；
TCPListener得到一个客户端请求后，创建一个Agent类型的EDU，并把接受到的套接字交给这个Agent EDU；
之后客户端会直接与Agent EDU交流，调用Agent的入口函数，而不会再走Listener了。

//TCP监听入口
	//先从内核获取服务名，并转换成端口号
	//用该端口号给当前EDU的sock，作为Bind_listen，将当前EDU设置为run
	//再开一个循环用于accept，每听到一个,start一个新agentEDU,把sock赋给它
	//如果从accept出来了，说明出错，将当前EDU设置为wait
	int pmdTcpListenerEntryPoint(pmdEDUCB *cb,void *arg)
	{
   
	   int          rc        = EDB_OK ;
	   pmdEDUMgr *  eduMgr    = cb->getEDUMgr() ;
	   EDUID        myEDUID   = cb->getID() ;
	   unsigned int retry     = 0 ;
	   EDUID        agentEDU  = PMD_INVALID_EDUID ;
	   char         svcName[OSS_MAX_SERVICENAME+1] ;//服务名
	
	//每次循环检查 重试次数是否到达上限；数据库是否已经关闭
	   while ( retry <= PMD_TCPLISTENER_RETRY && !EDB_IS_DB_DOWN )
	   {
   
	      retry ++ ;
		  //从内核获得服务名
	      strcpy( svcName, pmdGetKRCB()->getSvcName() ) ;
	      PD_LOG ( PDEVENT, "Listening on port_test %s\n", svcName ) ;
	
	      int port = 0 ;
	      int len = strlen ( svcName ) ;
		  //将服务名转换成端口
	      for ( int i = 0; i<len; ++i )
	      {
   
	         if ( svcName[i] >= '0' && svcName[i] <= '9' )
	         {
   
	            port = port * 10 ;
	            port += int( svcName[i] - '0' ) ;
	         }
	         else
	         {
   
	            PD_LOG ( PDERROR, "service name error!\n" ) ;
	         }
	      }
	
		  //将端口赋予sock，此sock用于bind_listen
	      ossSocket sock ( port ) ;
	      rc = sock.initSocket () ;
	      EDB_VALIDATE_GOTOERROR ( EDB_OK==rc, rc, "Failed initialize socket" )
	
	      rc = sock.bind_listen () ;
	      EDB_VALIDATE_GOTOERROR ( EDB_OK==rc, rc,
	                               "Failed to bind/listen socket");
	      // 监听成功后，该EDU转换成run
	      if ( EDB_OK != ( rc = eduMgr->activateEDU ( myEDUID )) )
	      {
   
	         goto error ;
	      }
	
	     //这个循环用于监听
	      while ( !EDB_IS_DB_DOWN )
	      {
   
	         int s ;
	         rc = sock.accept ( &s, NULL, NULL ) ;
	         //每次10ms，超时continue
	         if ( EDB_TIMEOUT == rc )
	         {
   
	            rc = EDB_OK ;
	            continue ;
	         }
	         //有错误并且数据库关闭则退出循环
	         if ( rc && EDB_IS_DB_DOWN )
	         {
   
	            rc = EDB_OK ;
	            goto done ;
	         }
	         else if ( rc )
	         {
   
	            
	            PD_LOG ( PDERROR, "Failed to accept socket in TcpListener" ) ;
	            PD_LOG ( PDEVENT, "Restarting socket to listen" ) ;
	            break ;
	         }
	
	         // 把接收到的句柄赋给pData
	         void *pData = NULL ;
	         *((int *) &pData) = s ;
	
			//让线程池再启动一个agent的EDU，赋予它刚才的sock
	         rc = eduMgr->startEDU ( EDU_TYPE_AGENT, pData, &agentEDU ) ;
	         if ( rc )
	         {
   
	            if ( rc == EDB_QUIESCED )
	            {
   
	               
	               PD_LOG ( PDWARNING, "Reject new connection due to quiesced database" ) ;
	            }
	            else
	            {
   
	               PD_LOG ( PDERROR, "Failed to start EDU agent" ) ;
	            }
	            //如果刚才分配新的thread失败了，只能将这个新的sock关闭
	            ossSocket newsock ( &s ) ;
	            newsock.close () ;
	            continue ;
	         }
	      }
		  //讲道理accept是一直循环的，到这里说明出问题了，那么将状态设置成wait
	      if ( EDB_OK != ( rc = eduMgr->waitEDU ( myEDUID )) )
	      {
   
	         goto error ;
	      }
	   } 
	done :
	   return rc;
	error :
	   switch ( rc )
	   {
   
	   case EDB_SYS :
	      PD_LOG ( PDSEVERE, "System error occured" ) ;
	      break ;
	   default :
	      PD_LOG ( PDSEVERE, "Internal error" ) ;
	   }
	   goto done ;
	}

接下来让我们看看EDU具体的封装EDU control block类，其私有成员包含了EDU的类型、EDU的ID、EDU的状态、以及一个EDUEvent也就是事件的队列。：

class pmdEDUCB
	{
   
	public:
		pmdEDUCB(pmdEDUMgr *mgr,EDU_TYPES type);
		inline EDUID getID(){
   	return _id;	}
		//将待处理事件push到队列中，等待EDU处理
		inline void postEvent(pmdEDUEvent const &data){
   	_queue.push(data);	}
		bool waitEvent(pmdEDUEvent &data,long long millsec)
		{
   
			bool waitMsg=false;//是否得到了队列中pop出的事件
			//如果当前EDU状态不为空闲，将其状态设置为等待
			if(PMD_EDU_IDLE!=_status)	_status=PMD_EDU_WAITING;
			if(0>millsec)
			{
   //如果当前设置时间小于0，则无限等待，从事件队列里pop出一个事件给data
				_queue.wait_and_pop(data);
				waitMsg=true;
			}//给定超时时间，在超时时间内是否pop出事件
			else	waitMsg=_queue.timed_wait_and_pop(data,millsec);
			
			if(waitMsg)//如果pop出了事件
			{
   	//事件为终止，则断开连接
				if(data._eventType==PMD_EDU_EVENT_TERM) _isDisconnected=true;
				else _status=PMD_EDU_RUNNING;//否则，状态调整为运行
			}
			return waitMsg;
		}
		inline void force(){
   	_isForced=true;	}//一个线程迫使其它线程退出的标志
		inline void disconnect(){
   	_isDisconnected=true;}
		inline EDU_TYPES getType(){
   	return _type;	}
		inline EDU_STATUS getStatus(){
   	return _status;	}
		inline void setType(EDU_TYPES type){
   	_type=type;}
		inline void setID(EDUID id){
   	_id=id;}
		inline void setStatus(EDU_STATUS status){
   	_status=status;}
		inline bool isForced(){
   	return _isForced;}
		inline pmdEDUMgr* getEDUMgr(){
   	return _mgr;}
	private:
		EDU_TYPES _type;
		pmdEDUMgr *_mgr;
		EDU_STATUS _status;
		EDUID _id;
		bool _isForced;
		bool _isDisconnected;
		ossQueue<pmdEDUEvent> _queue;
	};

EDUEvent（EDU event）EDU事件类

  1. EDU事件类型。
  2. 事件的post以及wait函数。

首先是EDU事件类型：

enum pmdEDUEventTypes
		{
   
			PMD_EDU_EVENT_NONE=0,	//置空
			PMD_EDU_EVENT_TERM,		//终止EDU
			PMD_EDU_EVENT_RESUME,	//恢复一个EDU,数据为开启EDU的参数
			PMD_EDU_EVENT_ACTIVE,
			PMD_EDU_EVENT_DEACTIVE,
			PMD_EDU_EVENT_MSG,
			PMD_EDU_EVENT_TIMEOUT,
			PMD_EDU_EVENT_LOCKWAKEUP
		};

事件的post以及wait函数，作为成员函数存放在EDUCB类中：

//将待处理事件push到队列中，等待EDU处理
		inline void postEvent(pmdEDUEvent const &data){
   	_queue.push(data);	}
		bool waitEvent(pmdEDUEvent &data,long long millsec)
		{
   
			bool waitMsg=false;//是否得到了队列中pop出的事件
			//如果当前EDU状态不为空闲，将其状态设置为等待
			if(PMD_EDU_IDLE!=_status)	_status=PMD_EDU_WAITING;
			if(0>millsec)
			{
   //如果当前设置时间小于0，则无限等待，从事件队列里pop出一个事件给data
				_queue.wait_and_pop(data);
				waitMsg=true;
			}//给定超时时间，在超时时间内是否pop出事件
			else	waitMsg=_queue.timed_wait_and_pop(data,millsec);
			
			if(waitMsg)//如果pop出了事件
			{
   	//事件为终止，则断开连接
				if(data._eventType==PMD_EDU_EVENT_TERM)
最低0.47元/天 解锁文章
pourtheworld
关注
专栏目录
线程池的简单实现
h1091068389的博客
07-11 407
在学习使用stl容器的时候，我们见到了stl容器使用了内存池来进行时间优化，因为用户在使用new、malloc等向系统申请空间的时候，身份会发生变化，同时有可能要执行操作系统内的内存处理算法，这可能会比较耗时。于是使用了内存池来提前申请好大块内存空间，需要用户自行进行管理。与内存池类似，提前准备好的线程，用来随时处理任务，这就被称作线程池。 线程池是线程的一种使用模式。线程过多会带来调度开销，从而影响缓存局部性和整体性能。而线程池中维护着多个线程，等待分配可并发执行的任务。这就避免了在处理短时间任务时创建和
一个简单线程池的实现
10-03
这是一个简单线程池的实现，虽然有很多bug，但是能够简单地实现线程池。
java数据库线程池_Java----数据库----实现线程池
weixin_35895056的博客
02-18 171
import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.sql.*;import java.util.LinkedList;import java.util.Timer;import java.util.TimerTask;/*** Neo4j连接池* Created by xuliugen on 2017/10/19....
java 多线程链接mysql_用java多线程模拟数据库连接池
weixin_39578516的博客
02-05 152
packagetread.demo.threadpool;importjava.sql.Connection;importjava.util.concurrent.CountDownLatch;importjava.util.concurrent.atomic.AtomicInteger;public classConnectionPoolTest {static ConnectionPool p...
设计一个线程池
weixin_34381666的博客
04-25 153
  诸如 Web 服务器、数据库服务器、文件服务器或邮件服务器之类的许多服务器应用程序都面向处理来自某些远程来源的大量短小的任务。请求以某种方式到达服务器，这种方式可能是通过网络协议（例如 HTTP、FTP 或 POP）、通过 JMS 队列或者可能通过轮询数据库。不管请求如何到达，服务器应用程序中经常出现的情况是：单个任务处理的时间很短而请求的数目却是巨大的。   线程池技术是一种“资源池化”技术...
线程池的实现原理
wzq6578702的专栏
03-31 6044
当向线程池提交一个任务之后，线程池是如何处理这个任务的呢？本节来看一下线程池 的主要处理流程，处理流程图所示。 从图中可以看出，当提交一个新任务到线程池时，线程池的处理流程如下。 1）线程池判断核心线程池里的线程是否都在执行任务。如果不是，则创建一个新的工作 线程来执行任务。如果核心线程池里的线程都在执行任务，则进入下个流程。 2）线程池判断工作队列是否已经满。如果工作队列没有满，则将新提
通过EasyExcel+线程池实现百万级数据从Excel导入到数据库
最新发布
03-26
在处理大量数据导入数据库的场景中，使用阿里巴巴开源的EasyExcel库结合线程池技术可以有效地实现从Excel文件导入到数据库的过程。先定义sheet的数量和固定大小的线程池数量，每个sheet页做为单独的任务交给线程池...
Linux + C + Epoll实现高并发服务器(线程池 + 数据库连接池)
09-27
在Linux 系统下面用C 语言实现的高并发服务器的代码，具体用到了Epoll，线程池，数据库连接池。 具体可以看下连接http://blog.csdn.net/wuyuxing24/article/details/48758927
c++数据库线程池
08-14
在C++中实现数据库线程池，首先需要对C++的多线程编程有深入理解，这通常涉及到`std::thread`库或者更低级别的线程API。线程池需要一个任务队列来存储待执行的任务，通常使用`std::queue`或者其他线程安全的数据结构...
如何实现一个“线程池”
weixin_53851750的博客
07-28 511
线程池里面包含了许多线程，可以供我们去使用，而避免了频繁的创建线程以及销毁线程，主要目的就是为了提高开发效率。那么我们如何实现一个自己的“线程池”呢 首先我们来看一下线程池的组成部分有哪些 有一个类，这个类表示工作线程，也就是用来执行任务的线程，借助这个类可以表示多个线程 还得有一个类来描述具体线程要做的任务是什么，直接使用Runnable即可 还需要一个阻塞队列来组织若干个任务。 好需要一个List来组织若干个线程 线程池核心操作 execute 创建线程并且将要执行的任务放到阻塞队列中去。 shu
数据库线程池
vip_ljq的专栏
06-08 979
unit ConnPool; interface uses   SysUtils, Classes, SyncObjs, Windows, Variants,   DateUtils, IniFiles, math, StrUtils,   Ora, OraProvider, DBAccess, DB,   ConnPool_Intr, DAScript, OraScript, MemD...
DB连接池
B_H_L的专栏
04-15 2870
DB连接池备忘 网络编程中提出了将Socket放入池中，让多个线程共享这些插座(Socket)对应的线缆（Conenction） DB连接池就是基于连接池的一个实现。连接池是客户端使用的技术。比如C3P0,DBCP都是应用程序做为客户端通过连接池访问DB       1.连接池的前世：通过JDBC访问DB: 一般来说，Java应用程序访问数据库的过程（如图1所示）
mysql连接池 线程池_玩转MySQL ----- 自己写的数据库连接池引入线程池
weixin_35836501的博客
02-08 104
这里继续更JDBC的工具类，应该是V5版本了：V5版本引入了线程池，为了后面项目service层方便进行事务操作：创建线程池：private static ThreadLocal t=new ThreadLocal();package cn.hncu.pub;import java.lang.reflect.InvocationHandler;import java.lang.reflect.Me...
多线程写mysql数据库_多线程读写mysql数据库
weixin_34969621的博客
01-28 394
该楼层疑似违规已被系统折叠隐藏此楼查看此楼unsigned int __stdcall scan(PVOID pM){char ip[20];strcpy(ip, (char*)pM);MYSQL mysql;MYSQL_RES* result;//初始化mysql句柄mysql_init(&mysql);//连接mysql数据库if(!mysql_real_connect(&m...
MyBatis集成Druid实现数据库线程池管理（一）
java界的小学生
06-03 5670
MyBatis集成Druid实现数据库线程池管理（一） 什么是 MyBatis MyBatis 是一款优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以使用简单的 XML 或注解来配置和映射原生类型、接口和 Java 的 POJO（Plain Old Java Objects，普通老式 J...
从零开始实现Java多线程数据库连接池（附一个神秘的问题）
热门推荐
程序老兵的博客
05-25 2万+
本例采用mysql数据库，因此请先下载mysql-connection.jar 众所周知，创建数据库连接需要消耗较多的资源，且创建时间也较长。如果网站一天100万PV（假设每个页面都有DB读取或修改操作），程序就需要创建100万次连接，极大的浪费资源。 事实上，同一时间需要创建数据库连接的请求数量并不多，一般几百个足够了。那么我们可以根据需要创建一个连接池，它负责分配、管理和释放数据库连接,它允许
Qt|多线程线程池处理大量数据写入数据库
奇树谦的博客
02-23 7405
qt多线程读写数据库
线程池的原理和连接池的原理
weixin_34273046的博客
10-29 216
线程池的原理: 来看一下线程池究竟是怎么一回事？其实线程池的原理很简单，类似于操作系统中的缓冲区的概念，它的流程如下：先启动若干数量的线程，并让这些线程都处于睡眠状态，当客户端有一个新请求时，就会唤醒线程池中的某一个睡眠线程，让它来处理客户端的这个请求，当处理完这个请求后，线程又处于睡眠状态。可能你也许会问：为什么要搞得这么麻烦，如果每当客户端有新的请求时，我就创建...
JDBC实现数据库CRUD操作及线程池整合
3. Statement：表示一个SQL语句，提供了执行SQL语句的方法。 4. ResultSet：表示查询结果，提供了访问查询结果的方法。 jdbc的使用步骤： 1. 加载jdbc驱动程序：使用Class.forName()方法加载jdbc驱动程序。 2. ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值