游戏服务器之mysql句柄连接池

最新推荐文章于 2021-03-27 10:45:02 发布
最新推荐文章于 2021-03-27 10:45:02 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： 游戏编程 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenjiayi_yun/article/details/36698011
版权

mysql连接使用封装原理是建立mysql连接句柄池。mysql连接句柄池在初始化时会根据放入的连接地址读取所有的表(建立表对象及其相关字段)和初始化一个mysql连接句柄。mysql连接句柄池可根据哈希和使用标识获取没有标识使用的句柄。


设计上：

（1）封装mysql连接到mysql连接句柄。mysql连接句柄由句柄管理器管理(加入和读取要加读写锁)。

（2）加载连接的表及其表的字段到表对象。表对象由表结构管理器管理（加入和读取要加读写锁）。实现orm的检查功能。

（3）封装条件查询。实现简化和安全使用字段和条件组成sql。

（4）封装结果集。实现简化获取执行sql结果。


数据结构：

（1）表结构管理器 

std::vector<mysql_table_manager *> tm;  //数据库表管理器 数组

获取表如

mysql_table* table  = this->pool->tm[this->_hashcode]->getTableByName(tablename);//pool 为句柄连接池


（2）句柄管理器

std::vector<mysql_handle_manager *> mhm;//mysql句柄数组，由哈希获取句柄管理者，再遍历获取没有标识使用的句柄。根据实际应用情况分散hashcode 的桶上的连接对象 可以有效减少多线程使用mysql句柄的竞争。


目录：

1、mysql句柄池

（1）句柄池初始化mysql句柄池

（2）加载连接地址

（2-1）加载表格

（3）获取句柄

2、条件查询

(1)条件查询封装

(2)执行sql

(3)查询使用实例


内容：

1、mysql句柄池

每个mysql句柄就是个mysql连接。句柄池会用哈希结构存储mysql句柄，按哈希结构存储mysql连接上的所有表结构。

（1）句柄池初始化mysql句柄池

/**
 * \description 构造函数
 * \param max_hash 支持最大的hash个数
 * \param max_handle 每个hash桶中支持的最多handle个数
 */

mysql_handle_pool::mysql_handle_pool(int max_hash,int max_handle)//int max_hash = 3,int max_handle = 64
{
	for(int i = 0 ; i < max_hash ; i ++)
	{
		mhm.push_back(new mysql_handle_manager);
		tm.push_back(new mysql_table_manager);
	}
	_max_hash = max_hash;
	_max_handle = max_handle;
	g_log->info("Version of the mysql libs is %s" ,mysql_get_client_info());
	if(!mysql_thread_safe())
	{       
		g_log->warn("The mysql libs is not thread safe...");
	}  
}

（2）加载连接地址

生成连接句柄。加载连接地址上的所有表结构。

bool mysql_handle_pool::putUrl(unsigned int hashcode,const char *url)
{
	mysql_url *mu = new mysql_url(hashcode,url);//生成连接句柄
	if(!mu)
	{
		return false;
	}
	if(!mum.addMysqlUrl(mu))
	{
		SAFE_DELETE(mu);
		return false;
	}
	mysql_handle *handle = new mysql_handle(mu,this,hashcode%_max_hash);
	if(!handle)
	{
		return false;
	}
	if(!handle->initHandle())//初始化mysql连接
	{
		SAFE_DELETE(handle);
		return false;
	}
	if(!mhm[hashcode]->addMysqlHandle(handle))
	{
		return false;
	}
	tm[hashcode]->reloadAllTables(handle->getMysql());//加载连接上的所有表格
	return true;
}

使用实例

mysqlPool = new mysql_handle_pool;
if(mysqlPool == NULL ||!mysqlPool->putUrl(0,g_xml_config.get_string("Global.MYSQL.Config")))
{
	g_log->error("连接数据库失败");
	return false;
}

连接配置如： "mysql://root:123456@192.168.188.87:3306/mu"


（2-1）加载表格

bool mysql_table_manager::reloadAllTables(MYSQL *mysql_conn)
{
	MYSQL_RES* table_res = NULL;

	if((table_res = mysql_list_tables(mysql_conn, NULL)) == NULL)//加载所有表格
	{
		g_log->error("%s:mysql_list_tables fail.", __FUNCTION__);
		g_log->error("%s:reason: %s", __FUNCTION__,mysql_error(mysql_conn));
		return false;
	}           
	MYSQL_ROW row;

	delete_all();

	while((row=mysql_fetch_row(table_res)))
	{
		this->addNewTable(mysql_conn, row[0]);
	}

	mysql_free_result(table_res);
	return true;
}

bool mysql_table_manager::addNewTable(MYSQL *mysql_conn,const char *tablename)
{
	mysql_table *table = new mysql_table;
	if(!table)
	{
		return false;
	}
	strncpy(table->name,tablename,sizeof(table->name));
	table->reloadAllFields(mysql_conn , tablename);
	return addTable(table);
}


bool addTable(mysql_table *entry)
{
	int len = strlen(entry->name);
	for (int i = 0; i < len; i++)
	{
		entry->name[i] = ::toupper(entry->name[i]);
	}
	
	bool bret = false;
	rwlock.wrlock();
	bret = add_object(entry);
	rwlock.unlock();
	return bret;
}


加载字段 

bool mysql_table::reloadAllFields(MYSQL *mysql_conn,const char *tablename)
{
	MYSQL_RES* field_res = NULL;
	field_res = mysql_list_fields(mysql_conn, tablename, NULL);
	if(!field_res)
	{
		return false;
	}
	unsigned int num_fields = mysql_num_fields(field_res);
	MYSQL_FIELD* mysql_fields = NULL;
	mysql_fields = mysql_fetch_fields(field_res);

	for(unsigned int i=0; i<num_fields; i++)
	{
		if(!fs.addNewField(mysql_fields[i].name, mysql_fields[i].type))
		{
			mysql_free_result(field_res);
			return false;
		}
	}

	mysql_free_result(field_res);
	return true;
}
bool mysql_record::addNewField(const char *fieldname, int fieldType, uint32 mask)
{
	mysql_field *entry = new mysql_field;
	if(!entry)
	{
		return false;
	}
	strncpy(entry->name,fieldname,sizeof(entry->name));
	entry->type = fieldType;
	entry->mask = mask;
	return addField(entry);
}


bool mysql_record::addField(mysql_field *entry)
{
	for(unsigned int i = 0;entry->name[i]&&i < sizeof(entry->name);++i)
		entry->name[i] = (char)::toupper(entry->name[i]);
        g_log->trace("%s,%u, %s", __PRETTY_FUNCTION__, __LINE__, entry->name.c_str());
	bool bret = false;
	rwlock.wrlock();
	bret = add_object(entry);
	rwlock.unlock();
	return bret;
}


（3）获取句柄

mysql_handle *mysql_handle_pool::getHandle(uint32 hashcode)
{
	struct GetHandleExec :public callback<mysql_handle>
	{
		GetHandleExec():_handle(NULL)
		{
		}
		mysql_handle *_handle;
		bool invoke(mysql_handle *entry)
		{
			switch(entry->state)
			{
				case HandleState_Valid:
				case HandleState_Invalid:
					{
						if(entry->setHandle())//设置句柄
						{
							_handle = entry;
							return false;
						}
					}
					break;
				case HandleState_Used:
					{
						entry->checkUseTime();//检查使用句柄时间
					}
					break;
			}
			return true;
		}
	};
	GetHandleExec exec;
        _mutex.lock();
	while(true)
	{
		mhm[hashcode%_max_hash]->traverseMysqlHandle(exec);
		if(exec._handle)
		{
                        _mutex.unlock();
			return exec._handle;
		}
		if(mhm[hashcode%_max_hash]->getSize() < _max_handle)
		{
			mysql_url *mu = mum.getMysqlUrlByID(hashcode);
			if(mu)
			{
				mysql_handle *handle = new mysql_handle(mu,this,hashcode%_max_hash);
				if(!handle)
				{
					_mutex.unlock();
					return NULL;
				}
				if(!handle->initHandle())
				{
					SAFE_DELETE(handle);
					_mutex.unlock();
					return NULL;
				}
				if(!mhm[hashcode]->addMysqlHandle(handle))
				{
					_mutex.unlock();
					return NULL;
				}
				tm[hashcode]->reloadAllTables(handle->getMysql());
				_mutex.unlock();
				return handle;
			}
		}
		thread_base::msleep(50);
	}
	_mutex.unlock();
	return exec._handle;
}


2、条件查询

(1)条件查询封装

mysql_record_set* mysql_handle::exeSelect(const char *tablename, mysql_record* column, mysql_record* where, mysql_record* order, 
				unsigned int limit_max,unsigned int limit_min,mysql_record* groupby, mysql_record* having)
{
	mysql_table* table  = this->pool->tm[this->_hashcode]->getTableByName(tablename);//获取表
	if (NULL == _mysql)
	{
		error_log("执行%s时_mysql指针为空",__FUNCTION__);
		return NULL;
	}
	if (NULL == table)
	{
		error_log("执行%s时table指针为空,找不到%s表",__FUNCTION__,tablename);
		return NULL;
	}
	
	_select_time.now();//记录查询时间

	std::ostringstream query_string;
	query_string << "SELECT ";
        //所有字段名
	if(column && !column->isEmpty())
	{
		struct SqlFieldExec : public callback<mysql_field>
		{
			bool _first;
			mysql_table* _table;
			std::ostringstream &query_string;
			SqlFieldExec(mysql_table* table, std::ostringstream &query_string)
				: _first(true), _table(table), query_string(query_string) 
				{
				}
			bool invoke(mysql_field *entry)
			{
				if( entry->name == "*" || _table->fs.get(entry->name))//获取字段
				{
					if(_first)
					{
						_first=false;
					}
					else
					{
						query_string <<  " , ";
					}

					query_string << "`" << entry->name << "`";//字段名
				}
				return true;
			}
		} sfe(table, query_string);

		column->traverseField(sfe);
	}
	else
	{
		query_string << " * ";
	}

	query_string << "  FROM " << " `" << table->name << "` ";
	getWhere(table, query_string, where);//where 条件
	getGroupBy(table, query_string, groupby);//group 
	getHaving(table, query_string, having);//having 条件
	getOrder(table, query_string, order);

	if(limit_max)
	{
		query_string << " LIMIT " << limit_min << " , " << limit_max;
	}
	if(execSql(query_string.str().c_str(), query_string.str().size())) //执行sql
	{
		error_log("%s", mysql_error(_mysql));
		return NULL;
	} 
	unsigned int retCount=0;
	MYSQL_RES *result=NULL;

	result=mysql_store_result(_mysql);//一次性传送结果
	if(result==NULL)
	{
		error_log("%s", mysql_error(_mysql));
		return NULL;
	}
	retCount =mysql_num_rows(result);//获取行数

	if(retCount==0)
	{
		mysql_free_result(result);
		return NULL;
	}

	MYSQL_ROW row;
	unsigned int num_field = mysql_num_fields(result);//获取结果集中的字段数
	MYSQL_FIELD* mysql_fields = NULL;
	mysql_fields = mysql_fetch_fields(result);//获取结果字段

	mysql_record_set* ret_set = NULL;
	ret_set = new mysql_record_set(retCount);
	if(ret_set)
	{
		unsigned int j = 0;
		while((row = mysql_fetch_row(result)))//获取一行结果
		{
			unsigned long *lengths= mysql_fetch_lengths(result);//获取行长度
			mysql_record* rec = ret_set->get(j++);
			if(rec)
			{
				for(unsigned int i=0; i<num_field; i++)
				{
					if(row[i] != NULL)
					{
						//g_log->debug("%s,%s,%lu", mysql_fields[i].name, row[i], lengths[i]);
						rec->put(mysql_fields[i].name, row[i], lengths[i]);//放入结果（字段名、结果、长度）
					}
				}
			}
		}
	}
	mysql_free_result(result);
	if(ret_set && ret_set->size() == 0)
	{
		SAFE_DELETE(ret_set);
	}
	if(_select_time.elapse(realtime()) >= 3 * 1000L)//检查查询事件
	{
		g_log->warn("超时%llu毫秒sql:%s",_select_time.elapse(realtime()),query_string.str().c_str());
	}
	return ret_set;
}

(2)执行sql

int mysql_handle::execSql(const char *sql,unsigned int sqllen,bool need_errlog)
{
	if (NULL == _mysql)
	{
		error_log("执行%s时_mysql指针为空,sql语句为%s",__FUNCTION__,sql);
		return -1;
	}
	if (NULL == sql)
	{
		error_log("执行%s时传入sql语句为空",__FUNCTION__);
		return -1;
	}
	if (0 == sqllen)
	{
		error_log("执行%s时sql语句%s长度为0",__FUNCTION__,sql);
		return -1;
	}

	lastSql=sql;
	int ret=mysql_real_query(_mysql,sql,sqllen);
	if(ret && need_errlog)
	{   
		error_log("%s", mysql_error(_mysql));
		error_log("%s", sql);
	}
	return ret;
}

(3)查询使用实例

查询服务器列表

mysql_record_set *recordset = NULL;
std::ostringstream oss;
mysql_record column,where;
mysql_handle *handle = mysqlPool->getHandle();//从句柄池获取句柄
if (!handle)
{
	g_log->error("不能从数据库连接池获取连接句柄");
	return false;
}
oss << "type=" << CENTERSERVER;
where.put("type",oss.str());//从服务器表格中查询类型为中心服务器的服务器配置
recordset = handle->exeSelect("SERVERLIST",NULL,&where);
if(recordset && recordset->size() == 1)//有结果且结果只有一条
{
	//只有一条满足条件的记录
	if (strcmp(pstrIP, recordset->get(0)->getvalue("ip")) == 0)//从结果集的第一条结果中获取字段为“ip”的值,且比较ip跟本服务器ip一致
	{
		wdServerID = recordset->get(0)->getvalue("id");//获取服务器id、名字、端口
                this->name = (const char* )(recordset->get(0)->getvalue("name"));
		wdPort = recordset->get(0)->getvalue("port");
		wdExtPort = recordset->get(0)->getvalue("extport");
	}
	else
	{
		char temp[MAX_NAME_LEN];//结果不一致，输出日志
		strcpy(temp, recordset->get(0)->getvalue("name"));
		g_log->error("数据库中的记录不符合：%s, %s, %s", pstrIP, (const char *)recordset->get(0)->getvalue("ip"),(const char *)recordset->get(0)->getvalue("name"));
		SAFE_DELETE(recordset);
		mysqlPool->putHandle(handle);
		return false;
	}
}
















风云来
关注
专栏目录
游戏服务器之服务器优化思路
陈嘉怡的专栏
07-16 4637
游戏服务器之服务器优化思路
游戏服务器之中心服务器
陈嘉怡的专栏
02-17 3973
中心服务器是控制消息流程和服务器启动使用的。 功能： 1、控制服务器启动验证。 2、转发其他服务器的消息到其他服务器。 3、控制重登陆。 本文内容： 1、中心服务器初始化 2、其他类型服务器的启动验证 3、转发服务器消息 1、中心服务器初始化 bool center_server::init() { mysqlPool = new mysql_handl
mysql句柄_MySQL与句柄_MySQL
weixin_36312811的博客
01-18 178
bitsCN.com1.环境OS:Win 2003 Server (X86)DB:MySQL 5.1.30-community-log2.问题MySQL Server占用的句柄数过大，使用过程消费句柄速度比释放速度来的快，部分其他应用申请不到句柄，导致不可用。2.1.Handle>handle.exe -s -p mysqld.exe01Handle type summary:02Deskt...
数据库连接池设计思路
weixin_30260399的博客
10-09 389
基本原理 数据库连接池的基本原理是，事先建立一定量的数据库连接，这些连接存放在连接池中，当java应用程序执行一个数据库事物时，只需要从连接池中取出空闲的数据库连接。 当java应用执行完后，再将数据库连接放回连接池。 连接池需要考虑以下的问题 限制连接池中最多、可以容纳的连接数目，避免过度消耗系统资源。 当客户请求连接，而连接池中所有连接都已被占用时，该如何处理呢？一种方式是让客户...
浅谈数据库连接池
MoveFlower的博客
04-18 586
池参数（所有池参数都有默认值）： 初始大小：10个 最小空闲连接数：3个 增量：一次创建的最小单位（5个） 最大空闲连接数：12个 最大连接数：20个 最大的等待时间：1000毫秒 四大连接参数 连接池也是使用四大连接参数来完成创建连接对象！ 实现的接口 连接池必须实现：javax.sql.DataSource接口！ 连接池返回的Connection对象，它...
查看MySQL句柄,mysql常用命令
weixin_29609733的博客
03-27 420
mysql常用命令grant all on *.* to root@'192.168.10.131' identified by 'admin';LOAD DATA INFILE (从文件中导入数据)mysqldump -u pivot -p pivot news > c:\news.sql那么还原可以mysql命令，mysql -u 用户名 -p (密码) -h 主机名 --one-dat...
游戏服务器之运营日志
陈嘉怡的专栏
02-13 2742
运营日志是为了运营人员查看游戏运行情况而增加的。把场景服务器的日志信息发送到运营服务器，再写到mysql数据库（方便运营后台查询，一般是php后台）。 设计思想： 1、逻辑线程派送运营日志到运营日志线程的添加队列。 2、每种类型的日志会对应有发送队列和添加队列，运营日志线程需要发送时就从发送队列中获取日志。 3、交换添加队列和发送队列（需要加锁），从发送队列里获取的所有日志（每次最
游戏服务器之存档读档
陈嘉怡的专栏
07-15 2840
场景服务器循环  if (_write_record_timer(main_logic_thread::currentTime)) { //随机时间存档 save(MSG::DB::WRITEBACK_TIMETICK); first_save = true; } else { if(!first_save) { save(MSG::DB::FIRST_SAVE);//第一次
MySQL 8.0 表空间机制
Enmotech的博客
03-23 1051
墨墨导读：数据是以表空间来维护和存放的。在表空间中包含数据，结构，索引等信息，如何有效使用表空间对于MySQL来说非常重要。数据库的表空间是用来存储数据的逻辑空间，也是存储数据的最大逻辑单...
mysql最大句柄数_MySQL 句柄数占用过多的解决方法
weixin_36306387的博客
02-02 622
在Windows下安装MySQL ，用了官方的配置向导生成了my.ini，本以为很安稳了，谁知十多个小时过去之后，系统响应非常慢，看资源管理器的性能卡，发现句柄数竟然达到了10万！怪不得无论使用什么程序都卡得很。网上搜索一下，大概是说 innodb_buffer_pool_size 这个默认的8M太大，但我已经skip-innodb了啊。后来又看到一个设置innodb_flush_log_at_t...
mysql句柄是什么意思_句柄是什么？
weixin_29691667的博客
01-19 1594
句柄有多种意义：1、在程序设计中，指一种特殊的智能指针 ；2、在Windows编程中，是Windows用来标识被应用程序所建立或使用的对象的唯一整数，Windows使用各种各样的句柄标识诸如应用程序实例，窗口，控制，位图，GDI对象等等。句柄(handle)，有两种解释第一种解释：句柄是一种特殊的智能指针 。当一个应用程序要引用其他系统(如数据库、操作系统)所管理的内存块或对象时，就要使用句柄。第...
handle句柄 matlab_句柄（Handle）
weixin_39613744的博客
01-14 490
在编程中经常会碰到句柄这个术语，百度百科上的定义是：“句柄是一个是用来标识对象或者项目的标识符，可以用来描述窗体、文件等“。为了更好地理解句柄，下面研究一个具体的句柄来体会其用处。下面针对MATLAB中常出现的function handle学习。在MATLAB官方文档中对其定义和描述如下：A function handle is a MATLAB® data type that stores an...
php mysql 数据句柄_php直接读取数据库信息
weixin_28703507的博客
02-02 153
连接到本机的3306，数据库的用户名是"root”，密码"123”，有一个数据库"redmine”，里面有一个表users，里面记录的是用户的相关信息，读取"id",”mail”,"created_on"的数据$db = mysql_connect(“localhost:3306”,"root”,"123");if(!$db){die(“error”);}mysql_select_db(“redm...
mysql 文件句柄是什么_文件句柄概述
weixin_35907524的博客
01-19 493
Linux环境下句柄的理解在Linux下，我们使用ulimit -n 命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到“too man...
MySQL与句柄
weixin_34366546的博客
03-15 856
为什么80%的码农都做不了架构师？>>> ...
mysql句柄是文件描述符_文件描述符
weixin_42534100的博客
02-08 139
文件描述符内核利用文件描述符来访问文件。文件描述符是非负整数。打开现存文件或新建文件时，内核会返回一个文件描述符。读写文件也需要使用文件描述符来指定待读写的文件。POSIX 定义了 STDIN_FILENO、STDOUT_FILENO 和 STDERR_FILENO 来代替 0、1、2。这三个符号常量的定义位于头文件 unistd.h。 当然，这三个常量只是文件描述符的一部分。文件描述符的有效范围...
java 句柄池_深入理解JVM之Java对象的创建、内存布局、访问定位详解
weixin_29924243的博客
02-16 288
本文实例讲述了深入理解JVM之Java对象的创建、内存布局、访问定位.分享给大家供大家参考，具体如下：对象的创建一个简单的创建对象语句Clazz instance = new Clazz();包含的主要过程包括了类加载检查、对象分配内存、并发处理、内存空间初始化、对象设置、执行ini方法等。主要流程如下：1. 类加载检查JVM遇到一条new指令时，首先检查这个指令的参数是否能在常量池中定位到一个类...
JVM原理（转载）
xxxlllbbb的博客
09-16 2036
本文是学习了《深入理解Java虚拟机》之后的总结，主要内容都来自于书中，也有作者的一些理解。一是为了梳理知识点，归纳总结，二是为了分享交流，如有错误之处还望指出。 用XMind画了一张导图（源文件对部分节点有详细备注和参考资料，需要的朋友可以关注我的微信公众号：Java团长，然后回复“JVM”获取）： 1. Java 内存区域与内存溢出异常 1.1 运行时数据区域 根据《Java 虚拟机规范(Java SE 7 版)》规定，Java 虚拟机所管理的内存如下图所示。   1.1.1 程序计数
MySQL数据库连接池设计与实现
"本文档主要介绍了如何创建一个基于libmysql的MySQL数据库连接池，适用于互联网相关的CS（计算机科学）领域。文档详细阐述了架构设计和数据库连接类的实现方法，旨在提高系统性能和数据安全性，降低耦合度，增强可...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值