MYSQL千万级数据量的优化方法积累

1.      数据库(表)设计合理

我们的表设计要符合3NF  3范式(规范的模式) , 有时我们需要适当的逆范式

2.      sql语句的优化(索引,常用小技巧.)

3.      数据的配置(缓存设大)

4.      适当硬件配置和操作系统 (读写分离.)

数据的3NF

1NF :就是具有原子性,不可分割.(只要使用的是关系性数据库,就自动符合)

2NF: 在满足1NF的基础上,我们考虑是否满足2NF:只要表的记录满足唯一性,也是说,你的同一张表,不可能出现完全相同的记录, 一般说我们在 表中设计一个主键即可.

3NF: 在满足2NF的基础上,我们考虑是否满足3NF:即我们的字段信息可以通过关联的关系,派生即可.(通常我们通过外键来处理)

逆范式: 为什么需呀逆范式:

(相册的功能对应数据库的设计)

适当的逆范式.

sql语句的优化

sql语句有几类

ddl(数据定义语言) [create alter drop]

dml(数据操作语言)[insert delete upate ]

select

dtl(数据事务语句) [commit rollback savepoint]

dcl(数据控制语句) [grant  revoke]

show status命令

该命令可以显示你的mysql数据库的当前状态.我们主要关心的是“com”开头的指令

showstatus like ‘Com%’ <=> show session  status like‘Com%’ //显示当前控制台的情况

showglobal status like ‘Com%’ ; //显示数据库从启动到查询的次数

显示连接数据库次数

showstatus like ‘Connections’;

这里我们优化的重点是在 慢查询.(在默认情况下是10 ) mysql5.5.19

显示查看慢查询的情况

showvariables like ‘long_query_time’

为了教学,我们搞一个海量表(mysql存储过程)

目的,就是看看怎样处理,在海量表中,查询的速度很快!

select *from emp where empno=123456;

需求:如何在一个项目中,找到慢查询的select, mysql数据库支持把慢查询语句,记录到日志中,程序员分析. (但是注意,默认情况下不启动.)

步骤:

1.      要这样启动mysql

进入到 mysql安装目录

2.  启动 xx>bin\mysqld.exe–slow-query-log  这点注意

测试 ,比如我们把

select *from emp where empno=34678 ;

用了1.5秒,我现在优化.

快速体验:在emp表的empno建立索引.

altertable emp add primary key(empno);

//删除主键索引

altertable emp drop primary key

然后,再查速度变快.

l        索引的原理

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

介绍一款非常重要工具explain, 这个分析工具可以对 sql语句进行分析,可以预测你的sql执行的效率.

他的基本用法是:

explainsql语句\G

//根据返回的信息,我们可知,该sql语句是否使用索引,从多少记录中取出,可以看到排序的方式.

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

l        在什么列上添加索引比较合适

①    在经常查询的列上加索引.

②    列的数据,内容就只有少数几个值,不太适合加索引.

③    内容频繁变化,不合适加索引

l        索引的种类

①    主键索引 (把某列设为主键,则就是主键索引)

②    唯一索引(unique)(即该列具有唯一性,同时又是索引)

③    index (普通索引)

④    全文索引(FULLTEXT)

select *from article where content like ‘%李连杰%’;

hello, iam a boy

l      你好,我是一个男孩 =>中文sphinx

⑤    复合索引(多列和在一起)

createindex myind on 表名 (列1,列2);

l        如何创建索引

如果创建unique /普通/fulltext索引

1. create[unique|FULLTEXT] index 索引名 on表名 (列名…)

2. altertable 表名 add index索引名 (列名…)

//如果要添加主键索引

altertable 表名 add primary key(列…)

删除索引

1.      drop index 索引名 on表名

2.      alter table 表名 drop indexindex_name;

3.      alter table 表名 drop primarykey

显示索引

show index(es) from 表名

show keys from 表名

desc 表名

如何查询某表的索引

showindexes from 表名

l        使用索引的注意事项

查询要使用索引最重要的条件是查询条件中需要使用索引。

下列几种情况下有可能使用到索引:

1,对于创建的多列索引,只要查询条件使用了最左边的列,索引一般就会被使用。

2,对于使用like的查询,查询如果是  ‘�a’不会使用到索引 aaa%’会使用到索引。

下列的表将不使用索引:

1,如果条件中有or,即使其中有条件带索引也不会使用。

2,对于多列索引,不是使用的第一部分,则不会使用索引。

3,like查询是以%开头

4,如果列类型是字符串,那一定要在条件中将数据使用引号引用起来。否则不使用索引。

5,如果mysql估计使用全表扫描要比使用索引快,则不使用索引。

l        如何检测你的索引是否有效

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

结论:Handler_read_key 越大越少

最后

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Java开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
从何学起的朋友,同时减轻大家的负担。**

[外链图片转存中…(img-nHVAkjUU-1715847694178)]

[外链图片转存中…(img-9eQY2hNz-1715847694179)]

[外链图片转存中…(img-3J1TDuR9-1715847694179)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Java开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

  • 5
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值