mysql大数据量表的处理方法(拆表,分区)

在我们正常开发中基本都会遇到一个表中已有大量数据,比如达到了两三G,几千万条数据,这时候对于这种表的维护就相对困难,查询效率上也比较低;

处理这样的表一般有2种做法,一是分表,二是分区;


分表:

一般分为有规律分表,或者无规律的(也可以说是有周期的活着没周期的),有规律的可以按年月日来分,无规律的可以按主键id分,比如对userId做一个取余操作,对userId进行拆分,可以拆分为N张表。举个例子吧,医院病人信息表。你可以创建一个存储过程和JOB按照出院3天的自动转移到附表1,出院超过7天的由附表1转到附表2...


分区:这个应该用的比较少

分区可以将表分离在若干不同的表空间上,用分而治之的方法来支撑无限膨胀的大表,给大表在物理一级的可管理性。将大表分割成较小的分区可以改善表的维护、备份、恢复、事务及查询性能。分区的好处是分区的优点:

1 增强可用性:如果表的一个分区由于系统故障而不能使用,表的其余好的分区仍然可以使用;

2 减少关闭时间:如果系统故障只影响表的一部分分区,那么只有这部分分区需要修复,故能比整个大表修复花的时间更少;

3 维护轻松:如果需要重建表,独立管理每个分区比管理单个大表要轻松得多;

4 均衡I/O:可以把表的不同分区分配到不同的磁盘来平衡I/O改善性能;

5 改善性能:对大表的查询、增加、修改等操作可以分解到表的不同分区来并行执行,可使运行速度更快;

6 分区对用户透明,最终用户感觉不到分区的存在。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值