数据库分区、分表与分库管理

最新推荐文章于 2024-05-17 19:54:16 发布

封神梦

最新推荐文章于 2024-05-17 19:54:16 发布

阅读量882

点赞数

分类专栏：数据处理数据库运维文章标签：数据库开发数据库运维

本文链接：https://blog.csdn.net/qq_36724185/article/details/126507356

版权

数据处理同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

数据库运维

1 篇文章 0 订阅

订阅专栏

一、数据库分区

`1. 定义`

数据库分区是将数据量大的表的数据均摊到不同的硬盘、系统或不同服务器存储介质中（将数据从物理上分成若干个小表存储），实际上还是一张表。

将表的数据均衡到不同的地方，为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。提升查询效率。

`2. 优点`

1、相对于单个文件系统或是硬盘，分区可以存储更多的数据；

2、数据管理比较方便，比如要清理或废弃某年的数据，就可以直接删除该日期的分区数据即可；

3、精准定位分区查询数据，不需要全表扫描查询，大大提高数据检索效率；

4、可跨多个分区磁盘查询，来提高查询的吞吐量；

5、在涉及聚合函数查询时，可以很容易进行数据的合并；

`3. 分类`

3.1水平分区

背景：数据量庞大

介绍：对表的行进行分区，不同物理不同分组里面的物理分割数据集得以组合，从而进行个体分割或集体分割。所有在表中定义的列在每个数据中都能找到。所以表的特性依然得以保持。（每行数据的字段不减少）

3.2垂直分区

背景：每行数据字段多，但有些字段包含大text且不经常被访问，这些字段就需要被切割出去。

介绍：对表的垂直划分来减少目标表的宽度，使某些特定的列被划分到特定的分区，每个列都包含了其中的列所对应的行。

`4. 使用场景`

一张表的查询速度已经慢到影响使用；
SQL经过优化还是很慢；
数据量大；
表中的数据是分段的；
对数据的操作往往只涉及一部分，而不是所有的数据。

如下为比较常用的按时间创建range分区脚本：

#按年创建分区 

PARTITION BY RANGE (YEAR(timestamp)) ( 
    PARTITION p0 VALUES LESS THAN (2013),
    PARTITION p1 VALUES LESS THAN (2014), 
    PARTITION p2 VALUES LESS THAN (2015), 
    PARTITION p3 VALUES LESS THAN (2016) 
); 

#按年和月创建分区 

PARTITION BY RANGE (UNIX_TIMESTAMP(timestamp)) ( 
    PARTITION p0 VALUES LESS THAN (UNIX_TIMESTAMP('2014-08-01 00:00:00')), 
    PARTITION p1 VALUES LESS THAN (UNIX_TIMESTAMP('2014-11-01 00:00:00')), 
    PARTITION p2 VALUES LESS THAN (UNIX_TIMESTAMP('2015-01-01 00:00:00')),
     PARTITION p3 VALUES LESS THAN (UNIX_TIMESTAMP('2015-02-01 00:00:00')) 
);