实战 2000w 数据大表的优化过程,提供三种解决方案

本文介绍了针对2000万数据大表的三种优化方案:1)优化现有MySQL数据库,包括SQL优化、合理设计数据类型和索引等;2)升级到兼容MySQL的数据库,如OcenanBase或腾讯云DCDB;3)转向大数据解决方案,如使用MaxCompute。文中详细阐述了各种方案的优缺点和适用场景。
摘要由CSDN通过智能技术生成

实战 2000w 数据大表的优化过程,提供三种解决方案
方案概述
方案一:优化现有mysql数据库。
优点:不影响现有业务,源程序不需要修改代码。成本最低;缺点:有优化瓶颈,数据量过亿就玩完了。

方案二:升级数据库类型,换一种100%兼容mysql的数据库。
优点:不影响现有业务,源程序不需要修改代码。缺点:多花钱

方案三:一步到位,大数据解决方案,更换newsql/nosql数据库。
优点:扩展性强,成本低,没有数据容量瓶颈。缺点:需要修改源程序代码

以上三种方案,按顺序使用即可,数据量在亿级别一下的没必要换nosql,开发成本太高。三种方案我都试了一遍,而且都形成了落地解决方案。

方案一:优化现有mysql数据库

sql的编写需要注意优化

1、数据库设计和表创建时就要考虑性能

设计表时要注意:

表字段避免null值出现,null值很难查询优化且占用额外的索引空间,推荐默认数字0代替null。

尽量使用INT而非BIGINT,如果非负则加上UNSIGNED(这样数值容量会扩大一倍),当然能使用TINYINT、SMALLINT、MEDIUM_INT更好。

使用枚举或整数代替字符串类型

尽量使用TIMESTAMP而非DATETIME

单表不要有太多字段,建议在20以内

用整型来存IP

索引

索引并不是越多越好,要根据查询有针对性的创建,考虑在WHERE和ORDER BY命令上涉及的列建立索引,可根据EXPLAIN来查看是否用了索引还是全表扫描

应尽量避免在WHERE子句中对字段进行NULL值判断,否则将导致引擎放弃使用索引而进行全表扫描

值分布很稀少的字段不适合建索引,例如"性别"这种只有两三个值的字段

字符字段只建前缀索引

字符字段最好不要做主键

不用外键,由程序保证约束

尽量不用UNIQUE,由程序保证约束

使用多列索引时主意顺序和查询条件保持一致,同时删除不必要的单列索引

简言之就是使用合适的数据类型,选择合适的索引

选择合适的数据类型

(1)使用可存下数据的最小的数据类型,整型 < date,tim

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

星空 | 永恒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值