深入解析MySQL分区（Partition）功能

最新推荐文章于 2022-11-11 10:35:41 发布
最新推荐文章于 2022-11-11 10:35:41 发布
阅读量95 收藏 1
点赞数 1
文章标签： 运维 大数据 数据库
原文链接：http://www.cnblogs.com/mzhaox/p/11201715.html
版权

= 水平分区（根据列属性按行分）=
举个简单例子：一个包含十年发票记录的表可以被分区为十个不同的分区，每个分区包含的是其中一年的记录。

水平分区的模式：

  1. Range（范围） – 这种模式允许DBA将数据划分不同范围。例如DBA可以将一个表通过年份划分成三个分区，80年代（1980's）的数据，90年代（1990's）的数据以及任何在2000年（包括2000年）后的数据。 
  2. Hash（哈希）  – 这种模式允许DBA通过对表的一个或多个列的Hash Key进行计算，最后通过这个Hash码不同数值对应的数据区域进行分区。例如DBA可以建立一个对表主键进行分区的表。 
  3. Key（键值）    – Hash模式的一种延伸，这里的Hash Key是MySQL系统产生的。 
  4. List（预定义列表） – 这种模式允许系统通过DBA定义的列表的值所对应的行数据进行分割。例如：DBA建立了一个横跨三个分区的表，分别根据2004年2005年和2006年值所对应的数据。 
  5. Composite（复合模式） - 很神秘吧，哈哈，其实是以上模式的组合使用而已，就不解释了。举例：在初始化已经进行了Range范围分区的表上，我们可以对其中一个分区再进行hash哈希分区。 

 

 垂直分区（按列分）：

       举个简单例子：一个包含了大text和BLOB列的表，这些text和BLOB列又不经常被访问，这时候就要把这些不经常使用的text和BLOB了划分到另一个分区，在保证它们数据相关性的同时还能提高访问速度。

 

分区表和未分区表试验过程

      *创建分区表,按日期的年份拆分

mysql> CREATE TABLE part_tab (
 c1 int default NULL, 
 c2 varchar(30) default NULL, 
 c3 date default NULL
) engine=myisam 
PARTITION BY RANGE (year(c3)) (PARTITION p0 VALUES LESS THAN (1995),
PARTITION p1 VALUES LESS THAN (1996) , PARTITION p2 VALUES LESS THAN (1997) ,
PARTITION p3 VALUES LESS THAN (1998) , PARTITION p4 VALUES LESS THAN (1999) ,
PARTITION p5 VALUES LESS THAN (2000) , PARTITION p6 VALUES LESS THAN (2001) ,
PARTITION p7 VALUES LESS THAN (2002) , PARTITION p8 VALUES LESS THAN (2003) ,
PARTITION p9 VALUES LESS THAN (2004) , PARTITION p10 VALUES LESS THAN (2010),
PARTITION p11 VALUES LESS THAN MAXVALUE );

    注意最后一行，考虑到可能的最大值

   *创建未分区表

mysql> create table no_part_tab (
        c1 int(11) default NULL,
        c2 varchar(30) default NULL,
        c3 date default NULL
       ) engine=myisam;

   *通过存储过程灌入800万条测试数据

mysql> set sql_mode=''; /* 如果创建存储过程失败，则先需设置此变量, bug? */
mysql> delimiter //     /* 设定语句终结符为 //，因存储过程语句用;结束 */

  mysql> CREATE PROCEDURE load_part_tab()
  begin
   declare v int default 0;
   while v < 8000000
  do
   insert into part_tab
   values (v,'testing partitions',adddate('1995-01-01',(rand(v)*36520) mod 3652));
  set v = v + 1;
  end while;
  end
  //
  mysql> delimiter ;
  mysql> call load_part_tab();
  Query OK, 1 row affected (8 min 17.75 sec)

  mysql> insert into no_part_tab select * from part_tab;      //将800万数据复制到未分区的表no_part_tab 中

  Query OK, 8000000 rows affected (51.59 sec)
  Records: 8000000 Duplicates: 0 Warnings: 0

    * 测试SQL性能

mysql> select count(*) from part_tab where c3 > date（'1995-01-01'） and c3 < date（'1995-12-31'）;
+----------+
| count(*) |
+----------+
|   795181 |
+----------+

  1 row in set (0.55 sec)

mysql> select count(*) from no_part_tab where c3 > date（'1995-01-01'） and c3 < date（'1995-12-31'）; 
+----------+
| count(*) |
+----------+
|   795181 |
+----------+
1 row in set (4.69 sec)

   结果表明分区表比未分区表的执行时间少90%。

  * 通过explain语句来分析执行情况

mysql > explain select count(*) from no_part_tab where c3 > date('1995-01-01') and c3 < date ('1995-12-31') \G    #结尾的\G使得mysql的输出改为列模式 

  *************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: no_part_tab
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 8000000               #需要查询800万条记录
        Extra: Using where
  1 row in set (0.00 sec)

  mysql> explain select count(*) from part_tab where c3 > date ('1995-01-01') and c3 < date ('1995-12-31') \G

  *************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: part_tab
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 798458               #只需要查询798458条记录
        Extra: Using where
  1 row in set (0.00 sec)

    * 试验创建索引后情况

mysql> create index idx_of_c3 on no_part_tab (c3);
Query OK, 8000000 rows affected (1 min 18.08 sec)
Records: 8000000 Duplicates: 0 Warnings: 0

mysql> create index idx_of_c3 on part_tab (c3);
Query OK, 8000000 rows affected (1 min 19.19 sec)
Records: 8000000 Duplicates: 0 Warnings: 0

   创建索引后的数据库文件大小列表：

2008-05-24 09:23             8,608 no_part_tab.frm
2008-05-24 09:24       255,999,996 no_part_tab.MYD
2008-05-24 09:24        81,611,776 no_part_tab.MYI
2008-05-24 09:25                 0 part_tab#P#p0.MYD
2008-05-24 09:26             1,024 part_tab#P#p0.MYI
2008-05-24 09:26        25,550,656 part_tab#P#p1.MYD
2008-05-24 09:26         8,148,992 part_tab#P#p1.MYI
2008-05-24 09:26        25,620,192 part_tab#P#p10.MYD
2008-05-24 09:26         8,170,496 part_tab#P#p10.MYI
2008-05-24 09:25                 0 part_tab#P#p11.MYD
2008-05-24 09:26             1,024 part_tab#P#p11.MYI
2008-05-24 09:26        25,656,512 part_tab#P#p2.MYD
2008-05-24 09:26         8,181,760 part_tab#P#p2.MYI
2008-05-24 09:26        25,586,880 part_tab#P#p3.MYD
2008-05-24 09:26         8,160,256 part_tab#P#p3.MYI
2008-05-24 09:26        25,585,696 part_tab#P#p4.MYD
2008-05-24 09:26         8,159,232 part_tab#P#p4.MYI
2008-05-24 09:26        25,585,216 part_tab#P#p5.MYD
2008-05-24 09:26         8,159,232 part_tab#P#p5.MYI
2008-05-24 09:26        25,655,740 part_tab#P#p6.MYD
2008-05-24 09:26         8,181,760 part_tab#P#p6.MYI
2008-05-24 09:26        25,586,528 part_tab#P#p7.MYD
2008-05-24 09:26         8,160,256 part_tab#P#p7.MYI
2008-05-24 09:26        25,586,752 part_tab#P#p8.MYD
2008-05-24 09:26         8,160,256 part_tab#P#p8.MYI
2008-05-24 09:26        25,585,824 part_tab#P#p9.MYD
2008-05-24 09:26         8,159,232 part_tab#P#p9.MYI
2008-05-24 09:25             8,608 part_tab.frm
2008-05-24 09:25                68 part_tab.par

   * 再次测试SQL性能

mysql> select count(*) from no_part_tab where c3 > date ('1995-01-01') and c3 < date ('1995-12-31');
+----------+
| count(*) |
+----------+
|   795181 |
+----------+

  1 row in set (2.42 sec)   # 为原来4.69 sec 的51%

  #重启mysql ( net stop mysql, net start mysql)后，查询时间降为0.89 sec,几乎与分区表相同。

 

  mysql> select count(*) from part_tab where c3 > date ('1995-01-01') and c3 < date ('1995-12-31');

  +----------+
  | count(*) |
  +----------+
  |   795181 |
  +----------+
  1 row in set (0.86 sec)

 

   * 更进一步的试验
    ** 增加日期范围

mysql> select count(*) from no_part_tab where c3 > date ('1995-01-01') and c3 < date ('1997-12-31');
+----------+
| count(*) |
+----------+
| 2396524 |
+----------+
1 row in set (5.42 sec)

mysql> select count(*) from part_tab where c3 > date ('1995-01-01') and c3 < date ('1997-12-31');
+----------+
| count(*) |
+----------+
| 2396524 |
+----------+

  1 row in set (2.63 sec)

    ** 增加未索引字段查询

mysql> select count(*) from no_part_tab where c3 > date ('1995-01-01') and c3 < date ('1996-12-31') and c2='hello';
+----------+
| count(*) |
+----------+
|        0 |
+----------+
1 row in set (11.52 sec)

mysql> select count(*) from part_tab where c3 > date ('1995-01-01') and c3 < date ('1996-12-31') and c2='hello';
+----------+
| count(*) |
+----------+
|        0 |
+----------+
1 row in set (0.75 sec)

   = 初步结论 =
      * 分区和未分区占用文件空间大致相同 （数据和索引文件）
      * 如果查询语句中有未建立索引字段，分区时间远远优于未分区时间
      * 如果查询语句中字段建立了索引，分区和未分区的差别缩小，分区略优于未分区。

= 最终结论 =
  * 对于大数据量，建议使用分区功能。
  * 去除不必要的字段
  * 根据手册， 增加myisam_max_sort_file_size 会增加分区性能( mysql重建索引时允许使用的临时文件最大大小)

 

分区命令详解

   * RANGE 类型

CREATE TABLE users (
       uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
       name VARCHAR(30) NOT NULL DEFAULT '',
       email VARCHAR(30) NOT NULL DEFAULT ''
)
PARTITION BY RANGE (uid) (
       PARTITION p0 VALUES LESS THAN (3000000)
       DATA DIRECTORY = '/data0/data'
       INDEX DIRECTORY = '/data1/idx',
 
       PARTITION p1 VALUES LESS THAN (6000000)
       DATA DIRECTORY = '/data2/data'
       INDEX DIRECTORY = '/data3/idx',
 
       PARTITION p2 VALUES LESS THAN (9000000)
       DATA DIRECTORY = '/data4/data'
       INDEX DIRECTORY = '/data5/idx',
 
       PARTITION p3 VALUES LESS THAN MAXVALUE     DATA DIRECTORY = '/data6/data' 
       INDEX DIRECTORY = '/data7/idx'
);

   在这里，将用户表分成4个分区，以每300万条记录为界限，每个分区都有自己独立的数据、索引文件的存放目录，与此同时，这些目录所在的物理磁盘分区可能也都是完全独立的，可以提高磁盘IO吞吐量。

   * LIST 类型

CREATE TABLE category (
     cid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
     name VARCHAR(30) NOT NULL DEFAULT ''
)
PARTITION BY LIST (cid) (
     PARTITION p0 VALUES IN (0,4,8,12)
     DATA DIRECTORY = '/data0/data' 
     INDEX DIRECTORY = '/data1/idx',
     
     PARTITION p1 VALUES IN (1,5,9,13)
     DATA DIRECTORY = '/data2/data'
     INDEX DIRECTORY = '/data3/idx',
     
     PARTITION p2 VALUES IN (2,6,10,14)
     DATA DIRECTORY = '/data4/data'
     INDEX DIRECTORY = '/data5/idx',
     
     PARTITION p3 VALUES IN (3,7,11,15)
     DATA DIRECTORY = '/data6/data'
     INDEX DIRECTORY = '/data7/idx'
);

   分成4个区，数据文件和索引文件单独存放。

   * HASH 类型

CREATE TABLE users (
     uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
     name VARCHAR(30) NOT NULL DEFAULT '',
     email VARCHAR(30) NOT NULL DEFAULT ''
)
PARTITION BY HASH (uid) PARTITIONS 4 (
     PARTITION p0
     DATA DIRECTORY = '/data0/data'
     INDEX DIRECTORY = '/data1/idx',
 
     PARTITION p1
     DATA DIRECTORY = '/data2/data'
     INDEX DIRECTORY = '/data3/idx',
 
     PARTITION p2
     DATA DIRECTORY = '/data4/data'
     INDEX DIRECTORY = '/data5/idx',
 
     PARTITION p3
     DATA DIRECTORY = '/data6/data'
     INDEX DIRECTORY = '/data7/idx'
);

   * KEY 类型

CREATE TABLE users (
     uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
     name VARCHAR(30) NOT NULL DEFAULT '',
     email VARCHAR(30) NOT NULL DEFAULT ''
)
PARTITION BY KEY (uid) PARTITIONS 4 (
     PARTITION p0
     DATA DIRECTORY = '/data0/data'
     INDEX DIRECTORY = '/data1/idx',
     
     PARTITION p1
     DATA DIRECTORY = '/data2/data' 
     INDEX DIRECTORY = '/data3/idx',
     
     PARTITION p2 
     DATA DIRECTORY = '/data4/data'
     INDEX DIRECTORY = '/data5/idx',
     
     PARTITION p3 
     DATA DIRECTORY = '/data6/data'
     INDEX DIRECTORY = '/data7/idx'
);

   分成4个区，数据文件和索引文件单独存放。

   * 子分区
     子分区是针对 RANGE/LIST 类型的分区表中每个分区的再次分割。再次分割可以是 HASH/KEY 等类型。

CREATE TABLE users (
     uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
     name VARCHAR(30) NOT NULL DEFAULT '',
     email VARCHAR(30) NOT NULL DEFAULT ''
)
PARTITION BY RANGE (uid) SUBPARTITION BY HASH (uid % 4) SUBPARTITIONS 2(
     PARTITION p0 VALUES LESS THAN (3000000)
     DATA DIRECTORY = '/data0/data'
     INDEX DIRECTORY = '/data1/idx',
 
     PARTITION p1 VALUES LESS THAN (6000000)
     DATA DIRECTORY = '/data2/data'
     INDEX DIRECTORY = '/data3/idx'
);

    对 RANGE 分区再次进行子分区划分，子分区采用 HASH 类型。
    或者

CREATE TABLE users (
     uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
     name VARCHAR(30) NOT NULL DEFAULT '',
     email VARCHAR(30) NOT NULL DEFAULT ''
)
PARTITION BY RANGE (uid) SUBPARTITION BY KEY(uid) SUBPARTITIONS 2(
     PARTITION p0 VALUES LESS THAN (3000000)
     DATA DIRECTORY = '/data0/data'
     INDEX DIRECTORY = '/data1/idx',
 
     PARTITION p1 VALUES LESS THAN (6000000)
     DATA DIRECTORY = '/data2/data'
     INDEX DIRECTORY = '/data3/idx'
);

    对 RANGE 分区再次进行子分区划分，子分区采用 KEY 类型。

分区管理

   * 删除分区  

ALERT TABLE users DROP PARTITION p0; #删除分区 p0

   * 重建分区

       RANGE 分区重建

ALTER TABLE users REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES LESS THAN (6000000));  #将原来的 p0,p1 分区合并起来，放到新的 p0 分区中。

        LIST 分区重建

ALTER TABLE users REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES IN(0,1,4,5,8,9,12,13));#将原来的 p0,p1 分区合并起来，放到新的 p0 分区中。

        HASH/KEY 分区重建

ALTER TABLE users REORGANIZE PARTITION COALESCE PARTITION 2; #用 REORGANIZE 方式重建分区的数量变成2，在这里数量只能减少不能增加。想要增加可以用 ADD PARTITION 方法。

   * 新增分区

        新增 RANGE 分区   

#新增一个RANGE分区
ALTER TABLE category ADD PARTITION (PARTITION p4 VALUES IN (16,17,18,19)
            DATA DIRECTORY = '/data8/data'
            INDEX DIRECTORY = '/data9/idx');

       新增 HASH/KEY 分区

ALTER TABLE users ADD PARTITION PARTITIONS 8;   #将分区总数扩展到8个。

       给已有的表加上分区

alter table results partition by RANGE (month(ttime)) 
(
PARTITION p0 VALUES LESS THAN (1),
PARTITION p1 VALUES LESS THAN (2) , 
PARTITION p2 VALUES LESS THAN (3) ,
PARTITION p3 VALUES LESS THAN (4) , 
PARTITION p4 VALUES LESS THAN (5) ,
PARTITION p5 VALUES LESS THAN (6) , 
PARTITION p6 VALUES LESS THAN (7) ,
PARTITION p7 VALUES LESS THAN (8) , 
PARTITION p8 VALUES LESS THAN (9) ,
PARTITION p9 VALUES LESS THAN (10) , 
PARTITION p10 VALUES LESS THAN (11),
PARTITION p11 VALUES LESS THAN (12),
PARTITION P12 VALUES LESS THAN (13) 
);

默认分区限制分区字段必须是主键（PRIMARY KEY)的一部分，为了去除此限制:

  [方法1] 使用ID:

mysql> ALTER TABLE np_pk
    ->     PARTITION BY HASH( TO_DAYS(added) )
    ->     PARTITIONS 4;
#ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function

mysql> ALTER TABLE np_pk
    ->     PARTITION BY HASH(id)
    ->     PARTITIONS 4;
Query OK, 0 rows affected (0.11 sec)
Records: 0 Duplicates: 0 Warnings: 0

  [方法2] 将原有PK去掉生成新PK

mysql> alter table results drop PRIMARY KEY;
Query OK, 5374850 rows affected (7 min 4.05 sec)
Records: 5374850 Duplicates: 0 Warnings: 0

mysql> alter table results add PRIMARY KEY(id, ttime);
Query OK, 5374850 rows affected (7 min 4.05 sec)
Records: 5374850 Duplicates: 0 Warnings: 0

 

 

 

 

转载于:https://www.cnblogs.com/mzhaox/p/11201715.html

weixin_30536513
关注
深入解析MySQL语句的执行步骤
fudaihb的博客
06-30 1245
MySQL作为一种流行的关系型数据库管理系统，被广泛应用于各种应用场景中。从开发者提交一条SQL语句到数据库返回结果，这中间经历了多个复杂的步骤。理解这些步骤有助于优化查询性能，解决潜在问题，并更好地掌握MySQL的工作机制。本文将详细讲解一条MySQL语句从接收、解析、优化到执行和返回结果的全过程。
mysqlworkbench的教程
03-01
关于mysql的workbench的一些教程,版本是mysqlbench5.2的,希望大家看清楚了在下载,谢谢!
理解MySQL——并行数据库与分区(Partition)
weixin_33727510的博客
12-24 288
1、并行数据库 1.1、并行数据库的体系结构并行机的出现，催生了并行数据库的出现，不对，应该是关系运算本来就是高度可并行的。对数据库系统性能的度量主要有两种方式：(1)吞吐量(Throughput)，在给定的时间段里所能完成的任务数量；(2)响应时间(Response time)，单个任务从提交到完成所需要的时间。对于处理大量小事务的系统，通过并行地处理许多事务可以提高它的吞吐量。对于处理大事务的...
深入解析MySQL分区（Partition）功能 MySQL partition
wade1010的专栏
11-15 164
http://note.youdao.com/s/aQPRTWps
MySQL Partitioning
Zhong Weicheng Study Notes
02-18 1274
range partitioning:used for data that can be separated into ranges based on some criterion i.e. date, part number, ID's. list partitioning:used for data that can be separated into lists based on some
【MySQL】深入理解MySQL分区表原理与企业级实战
Huangjiazhen711的博客
11-11 281
MySQL首先确定要更新的记录的分区，然后取出数据并对其进行更新，然后确定更新后的数据应该放在哪个分区中，最后写入基础表并删除原始数据所在的基础表。不同类型的分区以不同的方式实现，因此它们的性能不同。本文详细讲解什么是分区表，分区表增删改查的工作原理以及分区表的实战，分区表的场景有哪些，哪些场景不建议用分区表，并列举出六点使用分区表的误区。本文详细讲解什么是分区表，分区表增删改查的工作原理以及分区表的实战，分区表的场景有哪些，哪些场景不建议用分区表，并列举出六点使用分区表的误区。二、分区表数据更易于维护。
MySQL分区功能详解与实例解析
本篇文章将深入探讨MySQL分区功能，包括其概念、两种分区方式及MySQL的分区实现。 一、什么是数据库分区 数据库分区是针对数据量庞大的表进行的一种物理组织策略。当单个表的数据文件（如myd、myi文件）过大，导致...
mysql的partition
最新发布
08-24
- *2* *3* [深入解析MySQL分区（Partition）功能](https://blog.csdn.net/weixin_30840573/article/details/99079084)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip...
SQL性能提升绝招：深入解析MySQL中的Semi Join原理与应用
[SQL性能提升绝招：深入解析MySQL中的Semi Join原理与应用](https://www.informit.com/content/images/ch04_0672326736/elementLinks/04fig02.jpg) # 1. MySQL数据库与查询优化基础 在当今大数据环境下，MySQL...
mysql workbench使用方法
02-01
整理CSDN博客的资料，介绍mysql workbench创建ER图和数据库，主要按钮和界面的介绍，有中文讲解
mysql 分割区_MySQL分区/分片/拆分-哪种方法？
weixin_26907223的博客
01-18 666
We have an InnoDB database that is about 70 GB and we expect it to grow to several hundred GB in the next 2 to 3 years. About 60 % of the data belong to a single table. Currently the database is worki...
mysql拆分方式_MySQL分区/分片/拆分 – 哪个方式去？
weixin_35122299的博客
02-18 158
我们有一个大约70 GB的InnoDB数据库，我们预计在未来2到3年内它将增长到几百GB。大约60％的数据属于单个表。目前数据库工作的很好，因为我们有一个服务器与64 GB的内存，所以几乎整个数据库适合内存，但我们关心的未来，当数据量会大得多。现在我们正在考虑分割表(尤其是占据数据最大部分的表)的方法，我现在想知道，最好的方法是什么。我目前知道的选项是>使用版本5.1附带的MySQL分区&g...
表分区的大坑 MySQL Workbench建模，导出的sql脚本，无法执行。
公z号：职场爱学习
06-28 2049
表分区的大坑 MySQL Workbench建模，导出的sql脚本，无法执行。 [Err] 1178 - The storage engine for the table doesn’t support native partitioning 原因： 开始怀疑是反引号，后来发现不是这个问题。真正的原因是MyISAM存储引擎不支持RANGE表分区。 把 ENGINE = MyISAM 改成 ENGINE = InnoDB 又出现了另一个问题。 [Err] 1486 - Constant, random or
MySQL数据库：分区Partition
热门推荐
张维鹏的博客
12-25 2万+
分区就是将表的数据按照特定规则存放在不同的区域，也就是将表的数据文件分割成多个小块，在查询数据的时候，只要知道数据数据存储在哪些区域，然后直接在对应的区域进行查询，不需要对表数据进行全部的查询，提高查询的性能。同时，如果表数据特别大，一个磁盘磁盘放不下时，我们也可以将数据分配到不同的磁盘去，解决存储瓶颈的问题，利用多个磁盘，也能够提高磁盘的IO效率，提高数据库的性能 常见的分区类型有：Range分区、List分区、Hash分区、Key分区
MySQL 分区的目的_MySQL数据库分区的概念与2大好处
weixin_28720767的博客
01-19 584
我们大家都知道通过MySQL数据库分区(Partition)可以提升MySQL数据库的性能，那么到底什么是MySQL数据库分区呢？以及其实际应用的好处的表现有哪些呢？以下的文章就是对这些内容的描述。什么是数据库分区？数据库分区是一种物理数据库设计技术，DBA和数据库建模人员对其相当熟悉。虽然分区技术可以实现很多效果，但其主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。 分区主要...
分区表的底层原理
爱笑的k11的博客
04-07 649
分区表的底层原理 ​ 分区表由多个相关的底层表实现，这个底层表也是由句柄对象标识，我们可以直接访问各个分区。存储引擎管理分区的各个底层表和管理普通表一样（所有的底层表都必须使用相同的存储引擎），分区表的索引知识在各个底层表上各自加上一个完全相同的索引。从存储引擎的角度来看，底层表和普通表没有任何不同，存储引擎也无须知道这是一个普通表还是一个分区表的一部分。 ​ 分区表的操作按照以下的操作逻辑进...
spark的转换算子2
changshupx的博客
09-08 1792
1）coalesce def coalesce(numPartitions: Int, shuffle: Boolean = false)(implicit ord: Ordering[T] = null): RDD[T] 该函数用于将RDD进行重分区，使用HashPartitioner。 第一个参数为重分区的数目，第二个为是否进行shuffle，默认为false; 作用 缩减分区数，用于大数据集过滤后，提高小数据集的执行效率。 val ListRDD: RDD[Int] = context.makeRDD
mysql++分组+筛选数据_MySQL -- SQL查询排序/分组/筛选
weixin_29866423的博客
01-20 1316
一、SQL查询排序/分组/筛选(1)、总结(执行顺序)3、select ... 聚合函数 from ...1、where ...2、group by ...4、having ...5、order by ...6、limit ...;注：一条SQL命令的执行顺序，一般先执行where语句，最后执行limit。下面分别介绍下group by、having、order by、limit的用法。(2)、o...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值