项目中的一些sql优化方案问题总结

4 篇文章 0 订阅
4 篇文章 0 订阅

说到性能优化也是面试中提到的最多的一些问题,在面试上也经常被问道。以自己的项目实际中出现的问题为起点,来分享下自己对项目中的性能优化的使用和理解。

  1. 我们知道mysql优化可以从4个未读上来做优化

  • 硬件层面/操作系统层面优化

  • 系统参数配置

  • 表结构/索引等优化 (2-3点起始可以合并程一种属于MySQL层的调优)

  • 架构设计方面

MySQL的调优金字塔

硬件和系统调优: 对于我们非专业DBA来说,能知道的一般都是升级服务配置,采用ssd磁盘等。其他的可能了解或者知道的就比较少了,这个属于一个底层的认知,可能设计到的细节比较多,包括硬件的搭配组合,和磁盘的存储格式,操作系统的使用的那种文件系统 和 系统的调度算法等。这些各方面都会存在调优的可能。但是这中调整对于我们的业务系统来说可能出现的效果不是很明显,且他的调优成本很大。但是在完善的架构设计中,可能这些因数也都需要考虑。

我觉得在进行优化时,首先需要关注和优化的应该是架构,如果架构不合理,即使是DBA能做的事情其实是也是比较有限的。

对于架构调优,在系统设计时首先需要充分考虑业务的实际情况,是否可以把不适合数据库做的事情放到数据仓库、搜索引擎或者缓存中去做;然后考虑写的并发量有多大,是否需要采用分布式;最后考虑读的压力是否很大,是否需要读写分离。对于核心应用或者金融类的应用,需要额外考虑数据安全因素,数据是否不允许丢失。

查询性能优化

  1. 一般的涉及到表结构设计,存储引擎,索引的设计等

在MySQL中,选择正确的数据类型,对于性能至关重要。一般应该遵循下面两步:

(1)确定合适的大类型:数字、字符串、时间、二进制;

(2)确定具体的类型:有无符号、取值范围、变长定长等。

在MySQL数据类型设置方面,尽量用更小的数据类型,因为它们通常有更好的性能,花费更少的硬件资源。并且,尽量 把字段定义为NOT NULL,避免使用NULL。

1.数值类型

类型

大小

范围(有符号)

范围(无符号)

用途

TINYINT

1 字节

(-128, 127)

(0, 255)

小整数值

SMALLINT

2 字节

(-32 768, 32 767)

(0, 65 535)

大整数值

MEDIUMINT

3 字节

(-8 388 608, 8 388 607)

(0, 16 777 215)

大整数值

INT或INTEGER

4 字节

(-2 147 483 648, 2 147 483 647)

(0, 4 294 967 295)

大整数值

BIGINT

8 字节

(-9 233 372 036 854 775 808, 9 223 372 036 854 775 807)

(0, 18 446 744 073 709 551 615)

极大整数值

FLOAT

4 字节

(-3.402 823 466 E+38, 1.175 494 351 E-38),0,(1.175 494 351 E-38,3.402 823 466 351 E+38)

0, (1.175 494 351 E-38, 3.402 823 466 E+38)

单精度

浮点数

DOUBLE

8 字节

(1.797 693 134 862 315 7 E+308, 2.225 073 858 507 201 4 E-308), 0, (2.225 073 858 507 201 4 E-308, 1.797 693 134 862 315 7 E+308)

0, (2.225 073 858 507 201 4 E-308, 1.797 693 134 862 315 7 E+308)

双精度

浮点数

DECIMAL

对DECIMAL(M,D) ,如果M>D,为M+2否则为D+2

依赖于M和D的值

依赖于M和D的值

小数值

优化建议

  1. 如果整形数据没有负数,如ID号,建议指定为UNSIGNED无符号类型,容量可以扩大一倍。

  1. 建议使用TINYINT代替ENUM、BITENUM、SET。

  1. 避免使用整数的显示宽度,也就是说,不要用INT(10)类似的方法指定字段显示宽度,直接用INT。

CREATE TABLE `user`(
    `id` TINYINT(4) UNSIGNED ZEROFILL
);

 1.查询结果如果是5,那输出就是0005。如果指定TINYINT(5),那输出就是00005,其实实际存储的值还是5,而且存储的数据不会超过255,只是MySQL输出数据时在前面填充了0。

换句话说,在MySQL命令中,字段的类型长度TINYINT(2)、INT(11)不会影响数据的插入,只会在使用ZEROFILL时有用,让查询结果前填充0。
  1. DECIMAL最适合保存准确度要求高,而且用于计算的数据,比如价格。但是在使用DECIMAL类型的时候,注意长度设置。

  1. 建议使用整形类型来运算和存储实数,方法是,实数乘以相应的倍数后再操作。

  1. 整数通常是最佳的数据类型,因为它速度快,并且能使用AUTO_INCREMENT。

2、日期和时间

类型

大小

(字)

范围

格式

用途

DATE

3

1000-01-01 到 9999-12-31

YYYY-MM-DD

日期值

TIME

3

'-838:59:59' 到 '838:59:59'

HH:MM:SS

时间值或持续时间

YEAR

1

1901 到 2155

YYYY

年份值

DATETIME

8

1000-01-01 00:00:00 到 9999-12-31 23:59:59

YYYY-MM-DD HH:MM:SS

混合日期和时间值

TIMESTAMP

4

1970-01-01 00:00:00 到 2038-01-19 03:14:07

YYYYMMDDhhmmss

混合日期和时间值,时间戳

优化建议

  1. MySQL能存储的最小时间粒度为秒。

  1. 建议用DATE数据类型来保存日期。MySQL中默认的日期格式是yyyy-mm-dd。

  1. 用MySQL的内建类型DATE、TIME、DATETIME来存储时间,而不是使用字符串。

  1. 当数据格式为TIMESTAMP和DATETIME时,可以用CURRENT_TIMESTAMP作为默认(MySQL5.6以后),MySQL会自动返回记录插入的确切时间。

  1. TIMESTAMP是UTC时间戳,与时区相关。

  1. DATETIME的存储格式是一个YYYYMMDD HH:MM:SS的整数,与时区无关,你存了什么,读出来就是什么。

  1. 除非有特殊需求,一般的公司建议使用TIMESTAMP,它比DATETIME更节约空间,但是像阿里这样的公司一般会用DATETIME,因为不用考虑TIMESTAMP将来的时间上限问题。

  1. 有时人们把Unix的时间戳保存为整数值,但是这通常没有任何好处,这种格式处理起来不太方便,我们并不推荐它。

3、字符串

类型

大小

用途

CHAR

0-255字节

定长字符串,char(n)当插入的字符数不足n时(n代表字符数),插入空格进行补充保存。在进行检索时,尾部的空格会被去掉。

VARCHAR

0-65535 字节

变长字符串,varchar(n)中的n代表最大字符数,插入的字符数不足n时不会补充空格

TINYBLOB

0-255字节

不超过 255 个字符的二进制字符串

TINYTEXT

0-255字节

短文本字符串

BLOB

0-65 535字节

二进制形式的长文本数据

TEXT

0-65 535字节

长文本数据

MEDIUMBLOB

0-16 777 215字节

二进制形式的中等长度文本数据

MEDIUMTEXT

0-16 777 215字节

中等长度文本数据

LONGBLOB

0-4 294 967 295字节

二进制形式的极大文本数据

LONGTEXT

0-4 294 967 295字节

极大文本数据

优化建议

  1. 字符串的长度相差较大用VARCHAR;字符串短,且所有值都接近一个长度用CHAR。

  1. CHAR和VARCHAR适用于包括人名、邮政编码、电话号码和不超过255个字符长度的任意字母数字组合。那些要用来计算的数字不要用VARCHAR类型保存,因为可能会导致一些与计算相关的问题。换句话说,可能影响到计算的准确性和完整性。

  1. 尽量少用BLOB和TEXT,如果实在要用可以考虑将BLOB和TEXT字段单独存一张表,用id关联。

  1. BLOB系列存储二进制字符串,与字符集无关。TEXT系列存储非二进制字符串,与字符集相关。

  1. BLOB和TEXT都不能有默认值。

慢查询优化

慢查询日志,就是数据库中查询很慢的sql。MySQL中记录慢查询日志是通过 long_query_time这个参数设定的。默认是10S 也可以自定义设置。

set global 命令在重启服务后会失效,需要在my.cnf文件中配置。

可以根据生成的MySQL日志进行下一步分析对应的SQL语句

重构SQL查询的方法论

在优化有问题的查询时,目标应该是找到一个更优的方法获得实际需要的结果——而不一定总是需要从MySQL获取一模一样的结果集。有时候,可以将查询转换一种写法让其返回一样的结果,但是性能更好。但也可以通过修改应用代码,用另一种方式完成查询,最终达到一样的目的。我们项目中有些SQL会通过查询出多个单条的sql片段去进行执行,而不是使用一个大的关联查询。这里才有这种方式调整我觉得有如下几点:

  1. MySQL 设计上让连接和断开连接都很轻量级,在返回一个小的查询结果方面很高效。

  1. 单个的查询可以更加高效的使用索引,更方便后期进行优化

  1. 单个查询更方便缓存的命中(一般业务中会对单条记录做缓存,这样可以更加方便使用缓存)

  1. 减少关联产生的嵌套循环运算(MySQL中的关联查询实现方式就是基于小表驱动达标的循环嵌套)

  1. 可以减少事务的时间 和 锁的占用时间。(大的更新删除等)

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值