MySQL 分库分表-CSDN博客

本文链接：https://blog.csdn.net/2302_77871725/article/details/147685034

对于使用 MySQL 作为数据库管理系统的应用来说，当数据量达到一定规模时，单库单表的架构会面临性能瓶颈，如查询缓慢、写入性能下降等问题。为了解决这些问题，可以使用分库分表技术。

二、为什么需要分库分表

2.1 单库单表的局限性

数据量过大：随着业务的发展，单表的数据量可能会达到数十亿甚至更多，这会导致索引变得庞大，查询时的磁盘 I/O 开销增加，从而影响查询性能。

并发压力：大量的并发读写请求会使数据库服务器的 CPU、内存和磁盘 I/O 资源达到瓶颈，导致响应时间变长，甚至出现数据库崩溃的情况。

2.2 分库分表的好处

提升性能：通过将数据分散到多个数据库和表中，可以减少单个数据库和表的数据量，从而提高查询和写入的性能。

增强扩展性：分库分表可以方便地增加数据库服务器和表的数量，以应对不断增长的数据量和并发请求。

三、分库分表的原理

3.1 分库

分库是将一个数据库中的数据分散到多个数据库中。可以按照业务功能、数据类型等进行划分。例如，将用户相关的数据存放在一个数据库中，将订单相关的数据存放在另一个数据库中。

3.2 分表

分表是将一个表中的数据分散到多个表中。常见的分表方式有水平分表和垂直分表。

水平分表：将表按照行进行划分，将不同行的数据存储到不同的表中。例如，按照用户 ID 的哈希值将用户数据分散到多个表中。

垂直分表：将表按照列进行划分，将不同列的数据存储到不同的表中。例如，将一个包含用户基本信息和详细信息的表拆分成两个表，一个存储基本信息，另一个存储详细信息。

四、常见的分库分表实现方式

4.1 客户端分片

客户端分片是指在应用程序端实现分库分表的逻辑。应用程序根据规则将数据路由到不同的数据库和表中。

实现思路

数据路由规则设计：确定如何将数据映射到不同的数据库和表，常见的规则有哈希取模、范围划分等。
数据库连接管理：使用数据库连接池来管理与各个数据库的连接，提高连接的复用性和性能。
SQL 语句生成：根据数据路由结果，生成对应的 SQL 语句，将数据插入到正确的数据库和表中。

#include <iostream>
#include <string>
#include <vector>
#include <mysql_driver.h>
#include <mysql_connection.h>
#include <cppconn/statement.h>
#include <cppconn/prepared_statement.h>
#include <cppconn/resultset.h>
#include <cppconn/exception.h>
#include <functional>

// 哈希函数
int hashFunction(int key, int numShards) {
    return std::hash<int>()(key) % numShards;
}

// 数据库连接信息
struct DatabaseInfo {
    std::string host;
    std::string user;
    std::string password;
    std::string database;
};

// 分库分表管理器
class ShardingManager {
public:
    ShardingManager(const std::vector<DatabaseInfo>& dbs, int numTablesPerDb)
        : databases(dbs), numTablesPerDb(numTablesPerDb) {
        driver = get_mysql_driver_instance();
    }

    // 插入数据
    void insertData(int id, const std::string& name) {
        int dbIndex = hashFunction(id, databases.size());
        int tableIndex = hashFunction(id, numTablesPerDb);
        std::string tableName = "table_" + std::to_string(tableIndex);

        try {
            sql::Connection* con = driver->connect(databases[dbIndex].host, databases[dbIndex].user, databases[dbIndex].password);
            con->setSchema(databases[dbIndex].database);

            std::string sql = "INSERT INTO " + tableName + " (id, name) VALUES (?, ?)";
            sql::PreparedStatement* pstmt = con->prepareStatement(sql);
            pstmt->setInt(1, id);
            pstmt->setString(2, name);
            pstmt->execute();

            delete pstmt;
            delete con;
        } catch (sql::SQLException& e) {
            std::cerr << "SQLException: " << e.what() << std::endl;
        }
    }

private:
    std::vector<DatabaseInfo> databases;
    int numTablesPerDb;
    sql::mysql::MySQL_Driver* driver;
};

int main() {
    // 数据库连接信息
    std::vector<DatabaseInfo> dbs = {
        {"localhost", "user1", "password1", "db1"},
        {"localhost", "user2", "password2", "db2"}
    };

    // 每个数据库中的表数量
    int numTablesPerDb = 2;

    // 创建分库分表管理器
    ShardingManager shardingManager(dbs, numTablesPerDb);

    // 插入数据
    shardingManager.insertData(1, "John");
    shardingManager.insertData(2, "Jane");

    return 0;
}