MySQL分表处理的实现方法

原创 2012年03月31日 08:59:13

MySQL分表处理用于处理海量的数据库,下面就为您详细介绍MySQL分表处理的实现方法,希望对您能够有所启迪。

面对海量数据的表的时候,我们需要对它进行分表处理,我是按月份分的表,即每月都要建立一张表

比如 table_2010_04,table_2010_05,table_2010_06......您可以根据自己的需要,可以根据时间和不同的字段以及类型来分表。我按月分表是因为我只需要查询每天的数据,不需要查月份的数据,不需要好几张表同时(union)查询,所以查询速度还是很快的,但是如果需要很多张表的union查询的话速度可能就要慢了,那时候就要重新考虑分表的方式了。

每个月的开始都要进行一个操作建立一张以月为单位的新表来存储过去一个月的数据,当然有一张表的表名是一直不变的,这张表是用来暂时存储新的一个月的数据的。

我现在有一张表叫 my_table ,那这张表是一直存在的,比如现在是六月三号,那六月份的数据就暂时存储在这张表中,这时候首先需要my_table变名,

rename table my_table to table_2010_05; 这时候就重新命名了my_table这张表,但是原来的my_table这张表还是存在的,只不过所有的数据都已经存储在table_2010_05这张表上了,这就是用rename进行批处理的好处,大量的数据不需要在进行转移的时候不需要进行导出和导入的操作,那样效率会很低,而且对数据库造成的压力会很大,

在重新命名了my_table这张表后需要重新要创建my_table这张表,CREAT my_table (.......)

table_2010_05 原则上存储的都是五月份的数据,但是因为是三号才进行这个操作,所以肯定是六月一号到三号的数据还是存储到了table_2010_05 这张表上,那就需要从这张表中把一号到三号的数据重新查找出来插入到my_table (暂时存储的是六月份的数据)

insert into my_table (field1,field2....) SELECT field1,field2....FROM my_table_2010_05 WHERE filed3 >= "2010-06-01"; 这样就把一号到三号的数据存入到了暂时存储六月份数据的my_table 到七月初的时候还要对该表进行重复的操作进行分表处理,my_table 这张表保持不变的好处是每次插入的sql语句就不用改了,但是进行查询的时候就需要对时间进行判断,以确定具体查找那一张表,因为我们已经进行了分表操作。

这样每个月初都重复这样一个操作,分表就顺利实现,在进行插入之间还要进行这样一个操作,ALTER TABLE my_table MAX_ROWS=1000000000 AVG_ROW_LENGTH=15000;这样操作的好处是保证表存储好大量数据(超过2G)的数据,目前我的一个月的表中存储了11G多的数据,所以进行分表错做非常有必要,大家可以根据自己的实际情况来进行分表操作(如果是数据量很小的话就不需要进行这个操作了)


ALTER TABLE bm_user MAX_ROWS=1000000000 AVG_ROW_LENGTH=15000

ALTER TABLE bm_user MAX_ROWS=1000000000 AVG_ROW_LENGTH=15000;

ALTER TABLE bm_user MAX_ROWS=46000000

alter table bm_user max_rows=200000000000 avg_row_length = 50;

ALTER TABLE bm_user MAX_ROWS=1000000000

alter bm_user max_rows=2000000000000,avg_low_length=500000


相关文章推荐

MySQL分表处理的实现方法(按月份分的表)

MySQL分表处理用于处理海量的数据库,下面就为您详细介绍MySQL分表处理的实现方法,希望对您能够有所启迪。 面对海量数据的表的时候,我们需要对它进行分表处理,我是按月份分的表,即每月都要建立一张...

分表处理设计思想和实现

一、概述 分表是个目前算是比较炒的比较流行的概念,特别是在大负载的情况下,分表是一个良好分散数据库压力的好方法。首先要了解为什么要分表,分表的好处是什么。我们先来大概了解以下一个数据库执行SQL的过程...

数据库分表处理设计思想和实现

一、概述 分表是个目前算是比较炒的比较流行的概念,特别是在大负载的情况下,分表是一个良好分散数据库压力的好方法。 首先要了解为什么要分表,分表的好处是什么。我们先来大概了解以下一个数据库执...

mysql 大量临时 日志表处理

日志表处理背景介绍:在蜂巢做电商抓取,日志记录在mysql一张表中,出现问题的时候方便查询到是哪个流程出错了。也方便排查官网改版带来的问题。一个用户从登录到抓取完毕可能有几百条日志。随着每日抓取的数据...

mysql 分表的实现方法

--一步,二步,三步,N步,二行脚印 > mysql分表的3种方法 张映 发表于 2010-08-02 分类目录: mysql 标签:merge, mrg_myisam, myisam, my...

多表处理(五)-方法比较

多表处理(五)-方法比较 秀秀:这么多种方法,俺也记不住,你说,哪个方法最好? 阿金:所以,只会总结还不行,俺要超越你——不仅总结,还要分析! 秀秀:切!有机会你就夸一下自己! 阿金:要不要听...
  • uibook
  • uibook
  • 2012年10月10日 08:55
  • 343

DBF数据导入oracle表处理方法

  • 2015年03月13日 14:20
  • 187KB
  • 下载

MySQL分表方法

一,先说一下为什么要分表当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。 根据个人经验,mysq...

mysql分表的3种方法

一,先说一下为什么要分表 当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。 根据个人经...
  • calm677
  • calm677
  • 2014年02月18日 11:10
  • 381
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:MySQL分表处理的实现方法
举报原因:
原因补充:

(最多只允许输入30个字)