前言
首先,我们要知道什么是分表?以及我们为什么要分表?以及分表有哪些方式?我们根据不同的业务场景应该怎样去分表?在thinkPHP5框架里面我们又该怎么操作。
分表的意义
大家都知道mysql数据库是小型数据库,每张表最大承受的数据量大约是1亿条,而每张表超过300万条数据,单张表的查询速率会受到影响。(这个数值更具每张表的数据结构和数据值不同而变化。这里只是一个估值)
这个时候我们解决的办法之一就是:分表。
那么分表,通常又分为横向分表(水平分表),和纵向分表(垂直分表)。从字面上的意思理解的话,横向分表就是将数据量很大的表按照我们的业务需求,设定规则,水平切割成多张表。纵向分表就比较简单,通常是指一张表的数据字段太多,为了避免单表数据量太大,以及查看时候太过杂乱,将它的部分数据字段切割到其他表中。
我们这里说的分表,主要是指横向分表。
thinkPHP5里面进行分表
1. 常规操作
我们理解了分表的意义和规则。接下来就很好操作。我们先不用thinkPHP里面的函数,来对分表的数据表进行操作。
假设场景:交易流水的业务数据量很大,我们对交易流水表进行按照月份进行分表。
首先,我们使用定时任务,在每年的12月份,定时生成下一年的12张(按月份)交易流水数据表。可能是这样的格式:
trade_log_202001, trade_log_202002, trade_log_202003, trade_log_202004…trade_log_202012
表已经建好了。
接下来就是对表中的数据进行操作。
我们可以封装一个方法:获取当前条件的交易数据表。
然后再使用的时候调用这个方法,就是我们要操作的数据表。
thinkPHP 里面可以使用 setTable 方法设置修改模型中的数据表。
然后进行操作就可以了。
如果是原生的sql查询也是一样的
2. 分析thinkPHP5源码中的方法
先把源码贴出来,直接在源码里面一行行解释把。
/**
* 设置分表规则
* @access public
* @param array $data 操作的数据
* @param string $field 分表依据的字段
* @param array $rule 分表规则
* @return $this
*/
// 注释: 这是要分表操作调用方法,主要是获取分表的表名,并设置它。
public function partition($data, $field, $rule = [])
{
$this->options['table'] = $this->getPartitionTableName($data, $field, $rule);
return $this;
}
/**
* 得到分表的的数据表名
* @access public
* @param array $data 操作的数据
* @param string $field 分表依据的字段
* @param array $rule 分表规则
* @return string
*/
// 注释:这个是分表的重点函数,主要是根据传入的参数获取分表表名
// rule 里面的expr就是每张表规定的数量,num就是表的数量,即分了几张表。
public function getPartitionTableName($data, $field, $rule = [])
{
// 对数据表进行分区
// 注释: 这块判断,如果设置了分表字段,并且传入了分表规则字段,走下面的流程
// 否则,直接联合查询多张表。查出数据(走else查多张表,分表还有什么意义?)
if ($field && isset($data[$field])) {
$value = $data[$field];
$type = $rule['type'];
switch ($type) {
case 'id': //就是根据id来分,我们必须在rule里面设置expr。
// 按照id范围分表
$step = $rule['expr'];
$seq = floor($value / $step) + 1; //分表后缀就是当前数据id除步进值加1
break;
case 'year':
// 按照年份分表
if (!is_numeric($value)) {
$value = strtotime($value);
}
$seq = date('Y', $value) - $rule['expr'] + 1;
break;
case 'mod':
// 按照id的模数分表
$seq = ($value % $rule['num']) + 1; //取模+1。
break;
case 'md5':
// 按照md5的序列分表
$seq = (ord(substr(md5($value), 0, 1)) % $rule['num']) + 1; // 我们必须设置要分几张表
break;
default:
if (function_exists($type)) { // 固定函数hash,也可重写这部分,自定义规则,实现自定义设置后缀
// 支持指定函数哈希 //ord函数:获取字符串的ASCII码
$seq = (ord(substr($type($value), 0, 1)) % $rule['num']) + 1;
} else {
// 按照字段的首字母的值分表 //$value{0}这种写法是获取字符串$value的第0个字符。
$seq = (ord($value{0}) % $rule['num']) + 1;
}
}
return $this->getTable() . '_' . $seq; // 返回表名。
} else { // 联合查询了,不推荐这种操作。
// 当设置的分表字段不在查询条件或者数据中
// 进行联合查询,必须设定 partition['num']
$tableName = [];
for ($i = 0; $i < $rule['num']; $i++) {
$tableName[] = 'SELECT * FROM ' . $this->getTable() . '_' . ($i + 1);
}
$tableName = '( ' . implode(" UNION ", $tableName) . ') AS ' . $this->name;
return $tableName;
}
}
解释完了,是不是感觉很简单?就这!