本文转载自:http://blog.csdn.net/hailong0715/article/details/53418594
特根据理解绘制业务图如下:
线程图:
DB_PROXY_Server数据库代理是TeamTalk TTServer中负责与数据库交互的代理服务器,在DB server中负责承载TeamTalk所有业务层面和逻辑层面的数据入库和持久化等服务,是TT_Server中比较重要的一环,在设计中采用了很多实用的技术,比如池化技术,数据库代理,单例模式等,收益匪浅,下面对TealTalk的DB_Server作个详细分析,以封面是自己阅读代码后的学习总结,一方面可以给其他学习TT_Server的人提供参考。
可以通过查看DB_Server的配置文件dbproxyserver.conf文件,DB_SERVER主要分为以下几个部分:
1、TeamTalk_Matser 采用了MySQL数据库
2、TeamTalk_Slave MYSQL数据库
3、unread 未读信息实例 Redis 数据库
4、group_set 群组设置实例 redis数据库
5、token 实例 redis数据库
6、sync实例 redis数据库 同步功能
7、group_member redis 数据库
每个数据库实例都会预先打开于数据库的两个链接,不需要在每次使用的时候再打开,使用结束后释放,节省了数据打开和释放需要的时间和资源,在当前可用连接数不够的情况下再新增一个数据库链接,动态调节DB_Server的负载,同时限定了每个实例的最大可用连接数,由于系统资源是有限的,当业务比较繁忙时不能无限制创建新的连接,避免耗尽系统资源,这种场景下,当没有可用连接的时候,新的业务请求必须等待,等待可用的连接,然后再执行相应的业务操作。
DB_Server采用了多线程,在DB_Server启动的时候预先分配了配置文件中指定的线程数,用来处理具体的数据库请求,当一个请求到达DB_Server时,DB_Server将该请求封装成DB相关的额任务类,然后随机加入到预先启动的线程的任务列表中,有线程回调函数不停执行具体的任务请求,者就是整个DB_Serve的设计思路。
下面来看代码的流程:
1、CacheManager的初始化
db_proxy_server的main函数中,依次从配置文件中读取各个实例的名称以及初始DB实例个数,最大连接数等信息。
首先获取CacheManager的对象,在获取对象的同时对该对象以及该对象管理的资源进行了初始化。
- CacheManager* pCacheManager = CacheManager::getInstance();
需要明确的是,cacheManager维护了一个map,map<string, CachePool*>m_cache_pool_map;这个map的key值就是每个配置文件中每个CacheInstances的名称,对应给每一个cache实例维护了一个连接池CachePool, 在CachePool中有维护了一个list<CacheConn*>m_free_list;,这个list保存了对应cache实例的连接,CacheConn是对每个DB连接的封装。这个类中维护了对应数据库连接的一些基本信息,redis数据的话保存的是数据库连接上下文redisContext,以及操作数据库的Set 和Get方法。
创建CacheManager的对象
- CacheManager* CacheManager::getInstance()
- {
- if (!s_cache_manager) {
- s_cache_manager = new CacheManager();
- if (s_cache_manager->Init()) {
- delete s_cache_manager;
- s_cache_manager = NULL;
- }
- }
-
- return s_cache_manager;
- }
调用CacheManager的Init的方法,初始化CacheManager管理的资源,在这里就是读取配置文件,根据配置文件中的CacheInstance名称创建对应的实例,并创建相应的连接池对象,将其插入到Manager管理的Map中。
- int CacheManager::Init()
- {
- CConfigFileReader config_file("dbproxyserver.conf");
-
- char* cache_instances = config_file.GetConfigName("CacheInstances");
- if (!cache_instances) {
- log("not configure CacheIntance");
- return 1;
- }
-
- char host[64];
- char port[64];
- char db[64];
- char maxconncnt[64];
- CStrExplode instances_name(cache_instances, ',');
- for (uint32_t i = 0; i < instances_name.GetItemCnt(); i++) {
- char* pool_name = instances_name.GetItem(i);
-
- snprintf(host, 64, "%s_host", pool_name);
- snprintf(port, 64, "%s_port", pool_name);
- snprintf(db, 64, "%s_db", pool_name);
- snprintf(maxconncnt, 64, "%s_maxconncnt", pool_name);
-
- char* cache_host = config_file.GetConfigName(host);
- char* str_cache_port = config_file.GetConfigName(port);
- char* str_cache_db = config_file.GetConfigName(db);
- char* str_max_conn_cnt = config_file.GetConfigName(maxconncnt);
- if (!cache_host || !str_cache_port || !str_cache_db || !str_max_conn_cnt) {
- log("not configure cache instance: %s", pool_name);
- return 2;
- }
-
- CachePool* pCachePool = new CachePool(pool_name, cache_host, atoi(str_cache_port),
- atoi(str_cache_db), atoi(str_max_conn_cnt));
- if (pCachePool->Init()) {
- log("Init cache pool failed");
- return 3;
- }
-
- m_cache_pool_map.insert(make_pair(pool_name, pCachePool));
- }
-
- return 0;
- }
根据在配置文件中定义的instanceNane_DB的值创建CacheConn对象,调用其init函数,并将其插入到CachePool管理的空闲链表中。
- int CachePool::Init()
- {
- for (int i = 0; i < m_cur_conn_cnt; i++) {
- CacheConn* pConn = new CacheConn(this);
- if (pConn->Init()) {
- delete pConn;
- return 1;
- }
-
- m_free_list.push_back(pConn);
- }
-
- log("cache pool: %s, list size: %lu", m_pool_name.c_str(), m_free_list.size());
- return 0;
- }
调用CacheConn的Init函数,创建数据库的连接。
-
-
-
- int CacheConn::Init()
- {
- if (m_pContext) {
- return 0;
- }
-
-
- uint64_t cur_time = (uint64_t)time(NULL);
- if (cur_time < m_last_connect_time + 4) {
- return 1;
- }
-
- m_last_connect_time = cur_time;
-
-
- struct timeval timeout = {0, 200000};
- m_pContext = redisConnectWithTimeout(m_pCachePool->GetServerIP(), m_pCachePool->GetServerPort(), timeout);
- if (!m_pContext || m_pContext->err) {
- if (m_pContext) {
- log("redisConnect failed: %s", m_pContext->errstr);
- redisFree(m_pContext);
- m_pContext = NULL;
- } else {
- log("redisConnect failed");
- }
-
- return 1;
- }
-
- redisReply* reply = (redisReply *)redisCommand(m_pContext, "SELECT %d", m_pCachePool->GetDBNum());
- if (reply && (reply->type == REDIS_REPLY_STATUS) && (strncmp(reply->str, "OK", 2) == 0)) {
- freeReplyObject(reply);
- return 0;
- } else {
- log("select cache db failed");
- return 2;
- }
- }
上述流程就完成了所有CacheInstance的初始化,并创建了数据的连接池,后续所有对数据库的操作都通过调用CashManager::GetCacheConn方法来获取数据库的连接,从cachePool管理的free_list中出队列,如果队列为空,则创建新的连接或者等待,使用完连接后加入free_list中,供下次使用。
2、CDBManager的初始化
CDBManager的初始化流程与CacheManager的初始化流程类似,唯一不同的是CDBManager保存的CDBConn是到MYSQL数据库的连接。其他过程类似,理解上面CacheManager的流程就很容易理解该部分流程,这里不再重复叙述了。
3、资源对象初始化
完成DB相关资源的对象初始化,这些类都用了单例模式,因此初始化这些对象都只需要调用自身的GetInstance方法,
- puts("db init success");
-
- if (!CAudioModel::getInstance()) {
- return -1;
- }
-
- if (!CGroupMessageModel::getInstance()) {
- return -1;
- }
-
- if (!CGroupModel::getInstance()) {
- return -1;
- }
-
- if (!CMessageModel::getInstance()) {
- return -1;
- }
-
- if (!CSessionModel::getInstance()) {
- return -1;
- }
-
- if(!CRelationModel::getInstance())
- {
- return -1;
- }
-
- if (!CUserModel::getInstance()) {
- return -1;
- }
-
- if (!CFileModel::getInstance()) {
- return -1;
- }
4、工作线程池初始化,任务执行回调初始化。
这个部分可谓是db_proxy_server中重要的一环,所有的DB任务都是通过从工作线程池中的线程通过获取对应命令ID的回调函数来执行所有的数据库操作任务,因此理解了这部分差不多就理解了db_proxy_server的一半,下面介绍这部分流程。
- int init_proxy_conn(uint32_t thread_num)
- {
- s_handler_map = CHandlerMap::getInstance();
- g_thread_pool.Init(thread_num);
-
- netlib_add_loop(proxy_loop_callback, NULL);
-
- signal(SIGTERM, sig_handler);
-
- return netlib_register_timer(proxy_timer_callback, NULL, 1000);
- }
该部分的初始化时在main函数中调用全局函数init_proxy_conn函数完成的,该函数的一个入参thread_num指定了工作线程池的线程数量。
(1)首先获取CHandlerMap的对象,在获取对象的同时完成了所有回调函数的注册。
- CHandlerMap* CHandlerMap::getInstance()
- {
- if (!s_handler_instance) {
- s_handler_instance = new CHandlerMap();
- s_handler_instance->Init();
- }
-
- return s_handler_instance;
- }
- void CHandlerMap::Init()
- {
-
- m_handler_map.insert(make_pair(uint32_t(CID_OTHER_VALIDATE_REQ), DB_PROXY::doLogin));
- m_handler_map.insert(make_pair(uint32_t(CID_LOGIN_REQ_PUSH_SHIELD), DB_PROXY::doPushShield));
- m_handler_map.insert(make_pair(uint32_t(CID_LOGIN_REQ_QUERY_PUSH_SHIELD), DB_PROXY::doQueryPushShield));
-
-
- m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_RECENT_CONTACT_SESSION_REQUEST), DB_PROXY::getRecentSession));
- m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_REMOVE_SESSION_REQ), DB_PROXY::deleteRecentSession));
-
-
- m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_USER_INFO_REQUEST), DB_PROXY::getUserInfo));
- m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_ALL_USER_REQUEST), DB_PROXY::getChangedUser));
- m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_DEPARTMENT_REQUEST), DB_PROXY::getChgedDepart));
- m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_CHANGE_SIGN_INFO_REQUEST), DB_PROXY::changeUserSignInfo));
-
-
-
- m_handler_map.insert(make_pair(uint32_t(CID_MSG_DATA), DB_PROXY::sendMessage));
- m_handler_map.insert(make_pair(uint32_t(CID_MSG_LIST_REQUEST), DB_PROXY::getMessage));
- m_handler_map.insert(make_pair(uint32_t(CID_MSG_UNREAD_CNT_REQUEST), DB_PROXY::getUnreadMsgCounter));
- m_handler_map.insert(make_pair(uint32_t(CID_MSG_READ_ACK), DB_PROXY::clearUnreadMsgCounter));
- m_handler_map.insert(make_pair(uint32_t(CID_MSG_GET_BY_MSG_ID_REQ), DB_PROXY::getMessageById));
- m_handler_map.insert(make_pair(uint32_t(CID_MSG_GET_LATEST_MSG_ID_REQ), DB_PROXY::getLatestMsgId));
-
-
- m_handler_map.insert(make_pair(uint32_t(CID_LOGIN_REQ_DEVICETOKEN), DB_PROXY::setDevicesToken));
- m_handler_map.insert(make_pair(uint32_t(CID_OTHER_GET_DEVICE_TOKEN_REQ), DB_PROXY::getDevicesToken));
-
-
- m_handler_map.insert(make_pair(uint32_t(CID_GROUP_SHIELD_GROUP_REQUEST), DB_PROXY::setGroupPush));
- m_handler_map.insert(make_pair(uint32_t(CID_OTHER_GET_SHIELD_REQ), DB_PROXY::getGroupPush));
-
-
-
- m_handler_map.insert(make_pair(uint32_t(CID_GROUP_NORMAL_LIST_REQUEST), DB_PROXY::getNormalGroupList));
- m_handler_map.insert(make_pair(uint32_t(CID_GROUP_INFO_REQUEST), DB_PROXY::getGroupInfo));
- m_handler_map.insert(make_pair(uint32_t(CID_GROUP_CREATE_REQUEST), DB_PROXY::createGroup));
- m_handler_map.insert(make_pair(uint32_t(CID_GROUP_CHANGE_MEMBER_REQUEST), DB_PROXY::modifyMember));
-
-
-
- m_handler_map.insert(make_pair(uint32_t(CID_FILE_HAS_OFFLINE_REQ), DB_PROXY::hasOfflineFile));
- m_handler_map.insert(make_pair(uint32_t(CID_FILE_ADD_OFFLINE_REQ), DB_PROXY::addOfflineFile));
- m_handler_map.insert(make_pair(uint32_t(CID_FILE_DEL_OFFLINE_REQ), DB_PROXY::delOfflineFile));
-
- }
在ChandleMap注册数据库请求的CommandID对应的回调函数,在处理接收的请求时,根据CmdID查询CHandleMap,获取回调函数处理请求。
(2)初始化工作线程池
g_thread_pool.Init(thread_num);这行代码根据传入的参数创建了指定数量的线程,每个工作线程中都维护了一个任务队列,在有数据请求来的时候,系统随机将任务添加到线程的任务队列中,线程一次执行自己任务队列中的任务。
- int CThreadPool::Init(uint32_t worker_size)
- {
- m_worker_size = worker_size;
- m_worker_list = new CWorkerThread [m_worker_size];
- if (!m_worker_list) {
- return 1;
- }
-
- for (uint32_t i = 0; i < m_worker_size; i++) {
- m_worker_list[i].SetThreadIdx(i);
- m_worker_list[i].Start();
- }
-
- return 0;
- }
- void CWorkerThread::Start()
- {
- (void)pthread_create(&m_thread_id, NULL, StartRoutine, this);
- }
线程回调
- void* CWorkerThread::StartRoutine(void* arg)
- {
- CWorkerThread* pThread = (CWorkerThread*)arg;
-
- pThread->Execute();
-
- return NULL;
- }
处理任务
- void CWorkerThread::Execute()
- {
- while (true) {
- m_thread_notify.Lock();
-
-
- while (m_task_list.empty()) {
- m_thread_notify.Wait();
- }
-
- CTask* pTask = m_task_list.front();
- m_task_list.pop_front();
- m_thread_notify.Unlock();
-
- pTask->run();
-
- delete pTask;
-
- m_task_cnt++;
-
- }
- }
(3)环回检查,超时检测处理异常中断
- netlib_add_loop(proxy_loop_callback, NULL);
-
- signal(SIGTERM, sig_handler);
-
- return netlib_register_timer(proxy_timer_callback, NULL, 1000);
DB操作中的相应并不是来一个请求发送一个响应,CProxyConn中维护了一个static list<ResponsePdu_t*>
s_response_pdu_list,将需要发送的相应PDU插入到该list中,在db_proxy_server的时间分发器中,每次循环都会调用CheckLoop函数,根据注册的proxy_loop_callback回调发送响应信息。
- <span style="white-space:pre"> </span>signal(SIGTERM, sig_handler);
注册程序异常终止时的信号处理函数,处理函数异常退出时的一些清理工作,发送未发送的数据,停止接受请求等
- static void sig_handler(int sig_no)
- {
- if (sig_no == SIGTERM) {
- log("receive SIGTERM, prepare for exit");
- CImPdu cPdu;
- IM::Server::IMStopReceivePacket msg;
- msg.set_result(0);
- cPdu.SetPBMsg(&msg);
- cPdu.SetServiceId(IM::BaseDefine::SID_OTHER);
- cPdu.SetCommandId(IM::BaseDefine::CID_OTHER_STOP_RECV_PACKET);
- for (ConnMap_t::iterator it = g_proxy_conn_map.begin(); it != g_proxy_conn_map.end(); it++) {
- CProxyConn* pConn = (CProxyConn*)it->second;
- pConn->SendPdu(&cPdu);
- }
-
-
- CSyncCenter::getInstance()->stopSync();
-
-
- netlib_register_timer(exit_callback, NULL, 4000);
- }
- }
netlib_register_timer(proxy_timer_callback, NULL, 1000)
注册心跳,1000tick到发送一个心跳包,防止客户端掉线时占用系统资源,及时清理对应客户端的连接符等系统资源。
5、同步聊天记录等信息
- CSyncCenter::getInstance()->init();
- CSyncCenter::getInstance()->startSync();
- void CSyncCenter::init()
- {
-
- CacheManager* pCacheManager = CacheManager::getInstance();
-
- CacheConn* pCacheConn = pCacheManager->GetCacheConn("unread");
- if (pCacheConn)
- {
- string strTotalUpdate = pCacheConn->get("total_user_updated");
-
- string strLastUpdateGroup = pCacheConn->get("last_update_group");
- pCacheManager->RelCacheConn(pCacheConn);
- if(strTotalUpdate != "")
- {
- m_nLastUpdate = string2int(strTotalUpdate);
- }
- else
- {
- updateTotalUpdate(time(NULL));
- }
- if(strLastUpdateGroup.empty())
- {
- m_nLastUpdateGroup = string2int(strLastUpdateGroup);
- }
- else
- {
- updateLastUpdateGroup(time(NULL));
- }
- }
- else
- {
- log("no cache connection to get total_user_updated");
- }
- }
创建线程并开始同步
- void CSyncCenter::startSync()
- {
- #ifdef _WIN32
- (void)CreateThread(NULL, 0, doSyncGroupChat, NULL, 0, &m_nGroupChatThreadId);
- #else
- (void)pthread_create(&m_nGroupChatThreadId, NULL, doSyncGroupChat, NULL);
- #endif
- }
由于主线程执行需要执行其他任务,为了避免主线程耗时,同步聊天记录,群主信息功能在新创建的线程中执行,节省主线程启动时间;所有同步操作均在线程回调函数中完
成doSyncGroupChat.
6、事件分发,主线程助理主流程,接受客户连接,处理客户请求
所有TT_SERVER的网络处理统一在事件分发起中执行,包括从socket中接收连接,读写数据,处理异常
- void CEventDispatch::StartDispatch(uint32_t wait_timeout)
- {
- struct epoll_event events[1024];
- int nfds = 0;
-
- if(running)
- return;
- running = true;
-
- while (running)
- {
- nfds = epoll_wait(m_epfd, events, 1024, wait_timeout);
- for (int i = 0; i < nfds; i++)
- {
- int ev_fd = events[i].data.fd;
- CBaseSocket* pSocket = FindBaseSocket(ev_fd);
- if (!pSocket)
- continue;
-
-
- #ifdef EPOLLRDHUP
- if (events[i].events & EPOLLRDHUP)
- {
-
- pSocket->OnClose();
- }
- #endif
-
-
- if (events[i].events & EPOLLIN)
- {
-
- pSocket->OnRead();
- }
-
- if (events[i].events & EPOLLOUT)
- {
-
- pSocket->OnWrite();
- }
-
- if (events[i].events & (EPOLLPRI | EPOLLERR | EPOLLHUP))
- {
-
- pSocket->OnClose();
- }
-
- pSocket->ReleaseRef();
- }
-
- _CheckTimer();
- _CheckLoop();
- }
- }
在事件分发中需要详解的是从socket中读取客户请求数据并解析PDU数据包,处理客户请求,回复效应,其他socket连接等部分在之前的文章中已经叙述过了,这里就不再重复了,下面主要陈述db_proxy_server中处理客户请求的流程。
在db_proxy_server中接收到用户的请求数据后都会在如下的函数中解析请求数据。
- void CProxyConn::HandlePduBuf(uchar_t* pdu_buf, uint32_t pdu_len)
- {
- CImPdu* pPdu = NULL;
- pPdu = CImPdu::ReadPdu(pdu_buf, pdu_len);
- if (pPdu->GetCommandId() == IM::BaseDefine::CID_OTHER_HEARTBEAT) {
- return;
- }
-
- pdu_handler_t handler = s_handler_map->GetHandler(pPdu->GetCommandId());
-
- if (handler) {
- CTask* pTask = new CProxyTask(m_uuid, handler, pPdu);
- g_thread_pool.AddTask(pTask);
- } else {
- log("no handler for packet type: %d", pPdu->GetCommandId());
- }
- }
解析接收到的PDU数据包,根据CommandId判断是否是心跳包,如果是心跳包直接丢失,不是心跳包则在CHandlerMap中获取对应CommandId的回调,创建一个新的CProxyTask任务类,将任务类随机的加入到工作线程的任务队列中。
- void CThreadPool::AddTask(CTask* pTask)
- {
-
-
-
-
-
- uint32_t thread_idx = random() % m_worker_size;
- m_worker_list[thread_idx].PushTask(pTask);
- }
线程在处理任务的时候会调用相应任务类的Run方法,处理任务
- void CProxyTask::run()
- {
-
- if (!m_pPdu) {
-
- CProxyConn::AddResponsePdu(m_conn_uuid, NULL);
- } else {
- if (m_pdu_handler) {
- m_pdu_handler(m_pPdu, m_conn_uuid);
- }
- }
- }
至此db_proxy_server的整个初始化流程和处理流程都介绍完毕。在整个db server中核心思想就是池化技术,(DB连接池,工作线程池);整个核心流程是创建线程池,根据命令ID注册对应的处理回调,在线程回调函数中处理任务队列,依次取出任务,根据注册的回调处理任务请求,回响应。
鉴于本人理解有限,在行文的过程中可能存在一些理解或者描述错误的地方,请各位看官指正,TT_SERVER详解系列,是本人学习teamtalk源码的一些理解和心得,看源码主要看的是设计方法,处理思维,在不断学习中进步。