mariadb 5.5 threadpool 源码分析

最新推荐文章于 2023-10-29 15:45:41 发布

OkidoGreen

最新推荐文章于 2023-10-29 15:45:41 发布

阅读量1k

点赞数

分类专栏： Mysql-基础知识

Mysql-基础知识专栏收录该内容

113 篇文章 6 订阅

订阅专栏

本文集中讨论mariadb 5.5中线程池的基本原理和实现细节

简单对比一下两种线程调度方案

one_thread_per_connection

每个连接在其生命周期内都是由server从thread cache中取出一个（如果有可用的话）或者创建一个线程来为其服务，之后这个线程或者被放到thread cache（和thread cache size有关）或者被释放

threadpool

由一定数目的worker线程处理所有的连接，并发连接数可以大于worker线程数目，连接发送过来的event(处理请求）被放到队列中，worker线程不断从队列中取出event，调用do_command执行查询和返回结果

对于并发量大的业务场景，one_thread_per_connection将会在短时间内创建大量的线程，一方面造成系统资源的大量消耗，另一方面大量并发的线程会加剧系统锁竞争和线程上下文切换代价，从而使得系统性能下降，threadpool调度方案能够利用较少数目的线程处理大量并发的连接，能够极大提高系统系性能，尤其适用于高并发、短事务场景

实现细节：

1、整个连接池内部被分成N个小的group，N默认为cpu的个数，可以通过参数thread_pool_size设置，group之间通过round robin的方式分配连接，group内通过竞争方式处理连接，一个worker线程只属于一个group

2、每个group有一个动态的listener，worker线程在循环取event时，发现队列为空时会充当listener通过epoll的方式监听数据，并将监听到的event放到group中的队列

3、延时创建线程，group中的活动线程数为0或者group被阻塞时，worker线程会被创建，worker线程被创建的时间间隔会随着group内已有的线程数目的增加而变大

4、worker线程，数目动态变化，这也是相对于5.1版本的一个改进，并发较大时会创建更多的worker线程，当从队列中取不到event时work线程将休眠，超过thread_pool_idel_timeout后结束生命

5、timer线程，它会每隔一段时间做两件事情：1）检查每个group是否被阻塞，判定条件是：group中的队列中有event，但是自上次timer检查到现在还没有worker线程从中取出event并处理；2）kill超时连接并做一些清理工作

线程池调用接口：

点击(此处)折叠或打开

 
    static scheduler_functions tp_scheduler_functions=
 
 {
 
   ...
 
   tp_init,  // init
 
   NULL,  // init_new_connection_thread
 
   tp_add_connection,  // add_connection
 
   tp_wait_begin,  // thd_wait_begin
 
   tp_wait_end,  // thd_wait_end
 
   tp_post_kill_notification,  // post_kill_notification
 
   NULL,  // end_thread
 
   tp_end   // end
 
 };

以上函数接口在被调用时都会传入一个THD，其中包含了其网络连接的所有信息，如：socket fd

tp_init

线程池初始化工作，对每个group初始化pollfd，启动timer线程

tp_add_connection

根据thd的thread_id采用round robin方式将其分配到一个group中，将thd封装到connection_t的一个结构体中，放到group中的队列中，入队时会判断group中的活动worker线程数（thread_group->active_thread_count）是否大于0，否则将唤醒或者创建一个worker线程（wake_or_create_thread）

worker_main

worker线程函数，逻辑很简单，循环从队列中取get_event，然后调用handle_event

点击(此处)折叠或打开

 
    ...
 
   for(;;)
 
   {
 
     connection = get_event(&this_thread, thread_group, &ts);
 
     if (!connection)
 
       break;
 
     this_thread.event_count++;
 
     handle_event(connection);
 
   }
 
 ...

get_event

从队列中取event，取不到则充当listener通过epoll从网络监听事件，如果最终还是没能取到event，休眠一段时间，直到被唤醒或者超时退出

handle_event

做两件事情：1）连接验证；2）处理连接请求直到连接空闲，为空闲连接设置一个超时期限，之后将连接的socket fd绑定到group中的epollfd

timer_thread

做了两件事情：1）检查是否有group被阻塞，阻塞将调用wake_or_create_thread；2）检查是否有连接超时，超时将调用tp_post_kill_notification

点击(此处)折叠或打开

 
    ...
 
   for (;;)
 
   {
 
     /* Check stalls in thread groups */
 
     for(i=0; i< array_elements(all_groups);i++)
 
     {
 
       if(all_groups[i].connection_count)
 
         check_stall(&all_groups[i]);
 
     }
 
     /* Check if any client exceeded wait_timeout */
 
     if (timer->next_timeout_check <= timer->current_microtime)
 
       timeout_check(timer);
 
   }
 
 ...