需求
一张业务表有10亿数据,需要按身份证号字段certno
拆分为4台服务器中的16个子表,怎么操作?
设计
使用mycat的分片功能实现分库分表
4台服务器,每台服务器起一个mysql实例,每个实例创建4个database,每个database建一张同名(tu_trade_ng)的表
制定mycat的分片规则,按certno
字段的hash值进行分片
mysql 实例 | database | tablename |
---|---|---|
127.0.0.1:7006 | nifa_db_t0 | tu_trade_ng |
nifa_db_t1 | tu_trade_ng | |
nifa_db_t2 | tu_trade_ng | |
nifa_db_t3 | tu_trade_ng | |
127.0.0.1:7007 | nifa_db_t0 | tu_trade_ng |
nifa_db_t1 | tu_trade_ng | |
nifa_db_t2 | tu_trade_ng | |
nifa_db_t3 | tu_trade_ng | |
127.0.0.1:7008 | nifa_db_t0 | tu_trade_ng |
nifa_db_t1 | tu_trade_ng | |
nifa_db_t2 | tu_trade_ng | |
nifa_db_t3 | tu_trade_ng | |
127.0.0.1:7009 | nifa_db_t0 | tu_trade_ng |
nifa_db_t1 | tu_trade_ng | |
nifa_db_t2 | tu_trade_ng | |
nifa_db_t3 | tu_trade_ng |
实现
mysql创建database
每个mysql实例中创建4个database,共计16个database:
CREATE DATABASE `nifa_db_t0` /*!40100 DEFAULT CHARACTER SET utf8 */;
CREATE DATABASE `nifa_db_t1` /*!40100 DEFAULT CHARACTER SET utf8 */;
CREATE DATABASE `nifa_db_t2` /*!40100 DEFAULT CHARACTER SET utf8 */;
CREATE DATABASE `nifa_db_t3` /*!40100 DEFAULT CHARACTER SET utf8 */;
mysql创建table
每个database中创建一个table,共计16个table:
# 复用了tu_trade_total_area_0的表结构
create table nifa_db_t0.tu_trade_ng like tu_trade_total_area_0;
create table nifa_db_t1.tu_trade_ng like tu_trade_total_area_0;
create table nifa_db_t2.tu_trade_ng like tu_trade_total_area_0;
create table nifa_db_t3.tu_trade_ng like tu_trade_total_area_0;
mycat制定
mycat需要配置的东西:
scheme.xml
<!-- 表名登记 以及分片规则、datanode关联 -->
<table name="tu_trade_ng" primaryKey="ID" rule="certno-hashcode" dataNode="dnng$1-16" />
<!-- 16个datanode -->
<dataNode name="dn1" dataHost="NIFADB_1" database="nifa_db_t0" />
<dataNode name="dn2" dataHost="NIFADB_1" database="nifa_db_t1" />
<dataNode name="dn3" dataHost="NIFADB_1" database="nifa_db_t2" />
<dataNode name="dn4" dataHost="NIFADB_1" database="nifa_db_t3" />
<dataNode name="dn5" dataHost="NIFADB_2" database