C++手写数据库连接池
关键技术点
- MySQL数据库编程
- 单例模式
- queue队列容器
- C++11多线程编程
- 线程互斥
- 线程同步通信和unique_lock
- 基于CAS的原子整型
- 智能指针shared_ptr
- Lambda表达式
- 生产者-消费者模式、懒汉式单例模式
项目背景
为了提高MySQL数据库（基于C/S设计）的访问瓶颈，除了在服务器端增加缓存服务器缓存常用的数据 之外（例如redis），还可以增加连接池，来提高MySQL Server的访问效率，在高并发情况下，大量的 TCP三次握手、MySQL Server连接认证、MySQL Server关闭连接回收资源和TCP四次挥手所耗费的 性能时间也是很明显的，增加连接池就是为了减少这一部分的性能损耗。
在市场上比较流行的连接池包括阿里的druid，c3p0以及apache dbcp连接池，它们对于短时间内大量 的数据库增删改查操作性能的提升是很明显的，但是它们有一个共同点就是，全部由Java实现的。 那么本项目就是为了在C/C++项目中，提供MySQL Server的访问效率，实现基于C++代码的数据库连接 池模块。
连接池功能点介绍
连接池一般包含了数据库连接所用的ip地址、port端口号、用户名和密码以及其它的性能参数，例如初 始连接量，最大连接量，最大空闲时间、连接超时时间等，该项目是基于C++语言实现的连接池，主要 也是实现以上几个所有连接池都支持的通用基础功能。
**初始连接量（initSize）：**表示连接池事先会和MySQL Server创建initSize个数的connection连接，当 应用发起MySQL访问时，不用再创建和MySQL Server新的连接，直接从连接池中获取一个可用的连接 就可以，使用完成后，并不去释放connection，而是把当前connection再归还到连接池当中。
**最大连接量（maxSize）：**当并发访问MySQL Server的请求增多时，初始连接量已经不够使用了，此 时会根据新的请求数量去创建更多的连接给应用去使用，但是新创建的连接数量上限是maxSize，不能 无限制的创建连接，因为每一个连接都会占用一个socket资源，一般连接池和服务器程序是部署在一台 主机上的，如果连接池占用过多的socket资源，那么服务器就不能接收太多的客户端请求了。当这些连 接使用完成后，再次归还到连接池当中来维护。
**最大空闲时间（maxIdleTime）：**当访问MySQL的并发请求多了以后，连接池里面的连接数量会动态 增加，上限是maxSize个，当这些连接用完再次归还到连接池当中。如果在指定的maxIdleTime里面， 这些新增加的连接都没有被再次使用过，那么新增加的这些连接资源就要被回收掉，只需要保持初始连 接量initSize个连接就可以了。 连接超时时间（connectionTimeout）：当MySQL的并发请求量过大，连接池中的连接数量已经到达 maxSize了，而此时没有空闲的连接可供使用，那么此时应用从连接池获取连接无法成功，它通过阻塞 的方式获取连接的时间如果超过connectionTimeout时间，那么获取连接失败，无法访问数据库。
该项目主要实现上述的连接池四大功能，其余连接池更多的扩展功能，可以自行实现。
功能实现设计
ConnectionPool.cpp和ConnectionPool.h：连接池代码实现
Connection.cpp和Connection.h：数据库操作代码、增删改查代码实现
连接池主要包含了以下功能点：
1.连接池只需要一个实例，所以ConnectionPool以懒汉式单例模式进行设计
2.从ConnectionPool中可以获取和MySQL的连接Connection
3.空闲连接Connection全部维护在一个线程安全的Connection队列中，使用线程互斥锁保证队列的线程安全
4.如果Connection队列为空，还需要再获取连接，此时需要动态创建连接，上限数量是maxSize
5.队列中空闲连接时间超过maxIdleTime的就要被释放掉，只保留初始的initSize个连接就可以了，这个功能需要放在独立的线程
6.如果Connection队列为空，而此时连接的数量已达上限maxSize，那么等待connectionTimeout时间 如果还获取不到空闲的连接，那么获取连接失败。此处从Connection队列获取空闲连接，可以使用带超时时间的mutex互斥锁来实现连接超时时间
7.用户获取的连接用shared_ptr智能指针来管理，用lambda表达式定制连接释放的功能（不真正释放Connection连接对象，而是把连接对象归还到连接池中）
8.连接的生产和连接的消费采用生产者-消费者线程模型来设计，使用了线程间的同步通信机制条件变量和互斥锁
开发平台选型
有关MySQL数据库编程、多线程编程、线程互斥和同步通信操作、智能指针、设计模式、容器等等这些 技术在C++语言层面都可以直接实现，因此该项目选择直接在windows平台上进行开发，当然放在 Linux平台下用g++也可以直接编译运行。
MySQL数据库编程
这里的MySQL数据库编程直接采用oracle公司提供的MySQL C/C++客户端开发包，在VS上需要进行相 应的头文件和库文件的配置，如下：
用Everything查找mysql.h文件(前提本机安装了mysql开发环境) 复制mysql的include和lib目录
1.右键项目 - C/C++ - 常规 - 附加包含目录，填写mysql.h头文件的路径
2.右键项目 - 链接器 - 常规 - 附加库目录，填写libmysql.lib的路径
3.右键项目 - 链接器 - 输入 - 附加依赖项，填写libmysql.lib库的名字
4.把libmysql.dll动态链接库（Linux下后缀名是.so库）放在工程目录下 libmysql.dll在lib目录里面
代码实现
连接池类CommonConnectionPool.h/cpp
#pragma once
#include <string>
#include <queue>
#include <mutex>
#include "Connection.h"
#include "public.h"
#include <map>
#include <atomic>
#include <thread>
#include <memory>
#include <functional>
#include <condition_variable>
using namespace std;
// 实现连接池功能模块
class ConnectionPool {
public:
// 获取连接池对象实例
static ConnectionPool* getConnectionPool();
// 给外部提供接口 从连接池获取一个可用的空闲连接智能指针对象
shared_ptr<Connection> getConnection();
private:
// 单例 构造函数私有化
ConnectionPool();
// 从配置文件中加载配置项
bool loadConfigFile();
// 运行在独立线程中 专门负责生产新连接
void produceConnectionTask();
// 扫描超过maxIdleTime时间的空闲链接 进行多余的连接回收
void scannerConnectionTask();
// 数据库服务器ip地址
string _ip;
// 数据库端口号
unsigned short _port;
// 登录用户名
string _username;
// 登录密码
string _password;
// 数据库名
string _dbname;
// 连接池的初始连接量
int _initSize;
// 连接池的最大连接量
int _maxSize;
// 连接池的最大空闲时间
int _maxIdleTime;
// 连接池获取连接的超时时间
int _connectionTimeOut;
// 存储mysql连接的队列
queue<Connection*> _connectionQue;
// 维护连接队列的线程安全互斥锁
mutex _queueMutex;
// 记录连接所创建的connection连接的总数量
atomic_int _connectionCnt;
// 设置条件变量 用于连接生产线程和连接消费者线程的通信
condition_variable cv;
};
#include "CommonConnectionPool.h"
// 线程安全的懒汉单例函数接口
ConnectionPool* ConnectionPool::getConnectionPool() {
// lock和unlock
static ConnectionPool pool;
return &pool;
}
shared_ptr<Connection> ConnectionPool::getConnection() {
std::unique_lock<mutex> lock(_queueMutex);
while (_connectionQue.empty()) {
if (cv_status::timeout == cv.wait_for(lock, chrono::milliseconds(_connectionTimeOut))) {
std::cout << "最大等待连接超时时间:" << _connectionTimeOut << std::endl;
if (_connectionQue.empty()) {
LOG("获取连接超时...连接失败");
return nullptr;
}
}
}
// shared_ptr智能指针析构时会把connection资源直接delete掉
// 需要自定义shared_ptr释放资源的方式把connection归还到队列中
shared_ptr<Connection> sp(_connectionQue.front(),
[&](Connection* pcon) {
// 在服务器应用线程中调用的 一定要考虑队列的线程安全操作
unique_lock<mutex> lock(_queueMutex);
// 回归队列 刷新开始空闲的起始时间
pcon->refreshAliveTime();
_connectionQue.push(pcon);
}
);
_connectionQue.pop();
if (_connectionQue.empty()) {
// 谁消费了队列中最后一个connection连接对象 谁负责通知生产者生产
cv.notify_all();
}
return sp;
}
ConnectionPool::ConnectionPool() {
// 加载配置项
if (!loadConfigFile()) {
return;
}
// 创建初始数量的连接
for (size_t i = 0; i < _initSize; i++) {
Connection *p = new Connection();
p->connect(_ip, _port, _username, _password, _dbname);
// 刷新开始空闲的起始时间
p->refreshAliveTime();
_connectionQue.push(p);
// 放入队列一个 数量+1
_connectionCnt++;
}
// 启动一个新的线程 作为连接的生产者
thread produce(std::bind(&ConnectionPool::produceConnectionTask, this));
produce.detach();
// 启动一个新的线程 扫描多余的空闲链接 超过maxIdleTime时间的空闲连接，进行多余的连接回收
thread scanner(std::bind(&ConnectionPool::scannerConnectionTask, this));
scanner.detach();
}
// 从配置文件中加载配置项
bool ConnectionPool::loadConfigFile() {
FILE* pf = fopen("mysql.ini", "r");
if (pf == nullptr) {
LOG("mysql.ini file is not exist!");
return false;
}
// 用于存储配置项
std::map < std::string, std::string> configMap;
while (!feof(pf)) {
char line[1024] = {0};
fgets(line, 1024, pf);
string str = line;
int index = str.find('=', 0);
// 无效的配置项
if (index == -1) {
continue;
}
int endIndex = str.find('\n', index);
std::string key = str.substr(0, index);
std::string value = str.substr(index + 1, endIndex - index - 1);
// 存储配置项
configMap[key] = value;
}
for (std::map<std::string, std::string>::iterator it = configMap.begin(); it != configMap.end(); ++it) {
if (it->first == "ip") {
_ip = it->second;
} else if (it->first == "port") {
_port = atoi(it->second.c_str());
} else if (it->first == "username") {
_username = it->second;
} else if (it->first == "password") {
_password = it->second;
} else if (it->first == "initSize") {
_initSize = atoi(it->second.c_str());
} else if (it->first == "maxSize") {
_maxSize = atoi(it->second.c_str());
} else if (it->first == "maxIdleTime") {
_maxIdleTime = atoi(it->second.c_str());
} else if (it->first == "connectionTimeOut") {
_connectionTimeOut = atoi(it->second.c_str());
} else if (it->first == "dbname") {
_dbname = it->second;
}
}
// cout << "ip地址为:" << _ip << endl;
// cout << "数据库名:" << _dbname << endl;
// 关闭文件
fclose(pf);
return true;
}
// 运行在独立的线程中 专门负责生产新连接
void ConnectionPool::produceConnectionTask() {
for (;;) {
unique_lock<mutex> lock(_queueMutex);
while (!_connectionQue.empty()) {
// 列队不空 生产线程进入等待状态
cv.wait(lock);
}
// 连接数量没有到达上限 继续创建连接
if (_connectionCnt < _maxSize) {
Connection* p = new Connection();
p->connect(_ip, _port, _username, _password, _dbname);
// 刷新一下空闲的起始时间
p->refreshAliveTime();
_connectionQue.push(p);
_connectionCnt++;
}
// 通知消费者线程可以连接
cv.notify_all();
}
}
// 扫描超过maxIdleTime时间的空闲链接 进行多余的连接回收
void ConnectionPool::scannerConnectionTask() {
for (;;) {
// 通过sleep模拟定时效果
this_thread::sleep_for(chrono::seconds(_maxIdleTime));
// 扫描整个队列 释放多余的连接对象
unique_lock<mutex> lock(_queueMutex);
if (_connectionCnt > _initSize) {
Connection* p = _connectionQue.front();
if (p->getAliceTime() >= (_maxIdleTime * 1000)) {
_connectionQue.pop();
_connectionCnt--;
// 调用~Connection()释放连接
delete p;
} else {
// 对头的连接没有超过_maxIdleTime其他连接肯定没有
break;
}
}
}
}
连接池对象Connection.h/cpp
#pragma once
#include <string>
#include <mysql.h>
#include <iostream>
#include <ctime>
using namespace std;
// 实现数据库CRUD
class Connection {
public:
// 初始化数据库连接
Connection();
// 释放连接数据库
~Connection();
// 连接数据库
bool connect(string ip, unsigned short port, string username, string password, string dbname);
// 更新操作
bool update(string sql);
// 查询操作
MYSQL_RES* query(string sql);
// 刷新连接起始的空闲时间点
void refreshAliveTime();
// 返回存活的时间
clock_t getAliceTime() const;
private:
// 表示和Mysql Server的一条连接
MYSQL* _conn;
// 记录进入空闲状态后的起始存活时间
clock_t _alivetime;
};
#include "Connection.h"
#include "public.h"
Connection::Connection() {
// 初始化数据库连接
_conn = mysql_init(nullptr);
}
Connection::~Connection() {
// 释放数据库连接资源
if (_conn != nullptr) {
mysql_close(_conn);
}
}
bool Connection::connect(string ip, unsigned short port, string username, string password, string dbname) {
// 连接数据库
MYSQL* p = mysql_real_connect(_conn, ip.c_str(), username.c_str(),
password.c_str(), dbname.c_str(), port, nullptr, 0);
return p != nullptr;
}
bool Connection::update(string sql) {
// 更新操作
if (mysql_query(_conn,sql.c_str())){
LOG("更新失败:" + sql);
return false;
}
return true;
}
MYSQL_RES* Connection::query(string sql) {
// 查询操作
if (mysql_query(_conn, sql.c_str())) {
LOG("查询失败:" + sql);
return nullptr;
}
return mysql_use_result(_conn);
}
void Connection::refreshAliveTime() {
_alivetime = clock();
}
clock_t Connection::getAliceTime() const {
return clock() - _alivetime;
}
错误日志类public.h/cpp
#pragma once
#include <iostream>
#include <string>
#include <ctime>
// #define LOG(str) \
// cout << __FILE__ << ":" << __LINE__ << " " << \
// __TIMESTAMP__ << ":" << str << endl;
#define LOG(str) \
do { \
std::cout << __FILE__ << ":" << __LINE__ << " " << \
getFormattedTime() << ":" << str << std::endl; \
} while(0)
std::string getFormattedTime();
#include "public.h"
std::string getFormattedTime() {
std::time_t rawtime;
std::tm* timeinfo;
char buffer[1024];
std::time(&rawtime);
timeinfo = std::localtime(&rawtime);
std::strftime(buffer, sizeof(buffer), "%a %b %d %H:%M:%S %Y", timeinfo);
return std::string(buffer);
}
数据库配置文件mysql.ini
# 数据库连接池的配置文件
ip=你的数据库ip地址
port=端口号
username=用户
password=登录密码
dbname=库命
initSize=初始链接数
maxSize=最大链接数
# 最大空闲时间默认单位是秒
maxIdleTime=60
# 连接超时时间 单位是毫秒
connectionTimeOut=100
# 数据库建库
create database chat;
# 数据库建表语句
create table user(
id int auto_increment primary key,
name varchar(50) null,
age int null,
sex enum ('male', 'female') null
);
主函数main
#include <iostream>
#include "Connection.h"
#include "CommonConnectionPool.h"
using namespace std;
int main() {
/*Connection conn;
char sql[1024] = { 0 };
sprintf(sql, "insert into user(name,age,sex) values('%s','%d','%s')",
"zhang san", 20, "male");
conn.connect("你的数据库ip地址", 3306, "用户", "密码", "chat");
conn.update(sql);
return 0;*/
clock_t begin = clock();
/*for (size_t i = 0; i < 100; i++) {
Connection conn;
char sql[1024] = { 0 };
sprintf(sql, "insert into user(name,age,sex) values('%s','%d','%s')",
"zhang san", 20, "male");
conn.connect("101.200.235.212", 3306, "root", "Lcx@0217", "chat");
conn.update(sql);
}*/
thread t1([]() {
ConnectionPool* cp = ConnectionPool::getConnectionPool();
for (size_t i = 0; i < 250; i++) {
shared_ptr<Connection> sp = cp->getConnection();
char sql[1024] = { 0 };
sprintf(sql, "insert into user(name,age,sex) values('%s','%d','%s')",
"zhang san", 20, "male");
sp->update(sql);
}
});
thread t2([]() {
ConnectionPool* cp = ConnectionPool::getConnectionPool();
for (size_t i = 0; i < 250; i++) {
shared_ptr<Connection> sp = cp->getConnection();
char sql[1024] = { 0 };
sprintf(sql, "insert into user(name,age,sex) values('%s','%d','%s')",
"zhang san", 20, "male");
sp->update(sql);
}
});
thread t3([]() {
ConnectionPool* cp = ConnectionPool::getConnectionPool();
for (size_t i = 0; i < 250; i++) {
shared_ptr<Connection> sp = cp->getConnection();
char sql[1024] = { 0 };
sprintf(sql, "insert into user(name,age,sex) values('%s','%d','%s')",
"zhang san", 20, "male");
sp->update(sql);
}
});
thread t4([]() {
for (size_t i = 0; i < 250; i++) {
ConnectionPool* cp = ConnectionPool::getConnectionPool();
shared_ptr<Connection> sp = cp->getConnection();
char sql[1024] = { 0 };
sprintf(sql, "insert into user(name,age,sex) values('%s','%d','%s')",
"zhang san", 20, "male");
sp->update(sql);
}
});
t1.join();
t2.join();
t3.join();
t4.join();
//for (size_t i = 0; i < 100; i++) {
// shared_ptr<Connection> sp = cp->getConnection();
// char sql[1024] = { 0 };
// sprintf(sql, "insert into user(name,age,sex) values('%s','%d','%s')",
// "zhang san", 20, "male");
// sp->update(sql);
//}
clock_t end = clock();
std::cout << "连接池压力测试需要" << (end - begin) << "ms" << std::endl;
}
压力测试
验证数据的插入操作所花费的时间，第一次测试使用普通的数据库访问操作，第二次测试使用带连接池 的数据库访问操作，对比两次操作同样数据量所花费的时间，性能压力测试结果如下：
| 数据量 | 未使用连接池花费时间 | 使用连接池花费时间 |
|---|---|---|
| 1000 | 单线程：1091ms 四线程：324m | 单线程：822ms 四线程：108ms |
| 5000 | 单线程：5633ms 四线程：1361ms | 单线程： 4380ms 四线程：1741ms |
| 10000 | 单线程：16403ms 四线程：2589ms | 单线程： 8380ms 四线程：3741ms |
扫一扫
524
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
