MySQL性能调优(6)解读58同城数据库设计军规30条

军规适用场景:并发量大、数据量大的互联网业务
只是解读:没必要完全效仿

基础规范
  1. 必须使用InnoDB存储引擎
    解读:支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高
  2. 必须使用UTF8字符集不过现在基本上用 UTF8MB4
    **解读:万国码,无需转码,无乱码风险,节省空间 UTF8MB4支持图像兼容4字节 **
  3. 数据表、数据字段必须加入中文注释
    解读:N年后谁tm知道这个r1,r2,r3字段是干嘛的
  4. 禁止使用存储过程、视图、触发器、Event
    解读:高并发大数据的互联网业务,架构设计思路是“解放数据库CPU,将计算转移到服务层”,并发量大的情况下,这些功能很可能将数据库拖死,业务逻辑放到服务层具备更好的扩展性,能够轻易实现“增机器就加性能”。数据库擅长存储与索引,CPU计算还是上移吧 划重点:面试遇到要做存储过程的公司还是走了吧
  5. 禁止存储大文件或者大照片
    解读:为何要让数据库做它不擅长的事情?大文件和照片存储在文件系统或者存云服务也行,数据库里存URI多好
命名规范(这个知道就好)
  1. 只允许使用内网域名,而不是ip连接数据库
  2. 库名、表名、字段名:小写,下划线风格,不超过32个字符,必须见名知意,禁止拼音英文混用。
  3. 表名t_xxx,非唯一索引名idx_xxx,唯一索引名uniq_xxx
  4. 线上环境、开发环境、测试环境数据库内网域名遵循命名规范
    这个根据公司要求,只要人员能轻易区分数据库名称
业务名称:xxx
线上环境:dj.xxx.db
开发环境:dj.xxx.rdb
测试环境:dj.xxx.tdb
从库在名称后加-s标识,备库在名称后加-ss标识
线上从库:dj.xxx-s.db
线上备库:dj.xxx-sss.db
表设计规范
  1. 单实例表数目必须小于500
  2. 单表列数目必须小于30
  3. 表必须有主键,例如自增主键
主键递增,数据行写入可以提高插入性能,可以避免page分裂,减少表碎片提升空间和内存的使用
主键要选择较短的数据类型,Innodb引擎普通索引都会保存主键的值,较短的数据类型可以有效的减少索引的磁盘空间,提高索引的缓存效率
无主键的表删除,在row模式的主从架构,会导致备库夯住
  1. 禁止使用外键(现在一般都建立逻辑外键),如果有外键完整性约束,需要应用程序控制
    解读::外键会导致表与表之间耦合,update与delete操作都会涉及相关联的表,十分影响sql 的性能,甚至会造成死锁。高并发情况下容易造成数据库性能,大数据高并发业务场景数据库使用以性能优先
字段设计规范
  1. 必须把字段定义为NOT NULL并且提供默认值
null的列使索引/索引统计/值比较都更加复杂,对MySQL来说更难优化
null 这种类型MySQL内部需要进行特殊处理,增加数据库处理记录的复杂性;
同等条件下,表中有较多空字段的时候,数据库的处理性能会降低很多
null值需要更多的存储空间,无论是表还是索引中每行中的 对null的处理时候,只能采用is null或is not null,而不能采用=、in、<>、!=
not in这些操作符号如:where name!=’shenjian’,如果存在name为null值的记录,查询结果就不会包含name为null值的记录
  1. 禁止使用TEXT、BLOB类型
    解读:会浪费更多的磁盘和内存空间,非必要的大量的大字段查询会淘汰掉热数据,导致内存命中率急剧降低,影响数据库性能
  2. 禁止使用小数存储货币
    解读:使用整数吧,小数容易导致钱对不上
  3. 必须使用varchar(20)存储手机号
    解读:涉及到区号或者国家代号,可能出现±()
    手机号不会去做数学运算,所以请别弄成int类型
    varchar可以支持模糊查询,例如:like“138%”
  4. 禁止使用ENUM,可使用TINYINT代替
    解读:增加新的ENUM值要做DDL操作
    ENUM的内部实际存储就是整数,你以为自己定义的是字符串?
索引设计规范
  1. 单表索引建议控制在5个以内
  2. 单索引字段数不允许超过5个
    解读:字段超过5个时,实际已经起不到有效过滤数据的作用了
  3. 禁止在更新十分频繁、区分度不高的属性上建立索引
    离散性原因(离散性太差,优化器可能都不会走索引)
    更新会变更B+树,更新频繁的字段建立索引会大大降低数据库性能
    “性别”这种区分度不大的属性,建立索引是没有什么意义的,不能有效过滤数据,性能与全表扫描类似
  4. 建立组合索引,必须把区分度高的字段放在前面
    解读:能够更加有效的过滤数据(其中有离散性原因和最左匹配原则的原因)
SQL使用规范
  1. 禁止使用SELECT *,只获取必要的字段,需要显示说明列属性
    解读:读取不需要的列会增加CPU、IO、NET消耗、并且不能有效的利用覆盖索引
  2. 禁止使用INSERT INTO t_xxx VALUES(xxx),必须显示指定插入的列属性
    解读:容易在增加或者删除字段后出现程序BUG
  3. 禁止使用属性隐式转换
    解读:SELECT uid FROM t_user WHERE phone=13812345678 会导致全表扫描并且把phone字段转换成int类型来,而不能命中phone索引
  4. 禁止在WHERE条件的属性上使用函数或者表达式
    这个非常重要
    解读:SELECT uid FROM t_user WHERE from_unixtime(day)>=‘2017-02-15’ 会导致全表扫描
    正确的写法是:SELECT uid FROM t_user WHERE day>= unix_timestamp(‘2017-02-15 00:00:00’)
  5. 禁止负向查询,以及%开头的模糊查询
    解读:负向查询条件:NOT、!=、<>、!<、!>、NOT IN、NOT LIKE等,会导致全表扫描,在b+tree中在不确定情况下不知道走那条索引、%开头的模糊查询,会导致全表扫描,不走索引
  6. 禁止大表使用JOIN查询,禁止大表使用子查询
    解读:连接查询在表多(一般3个)的或者大数据量情况下会非常慢(因为大数据量进行笛卡尔积的匹对,会耗费很多内存进行中间结果计算)并且不利于维护表结构:这样就应该在应用层做join拆分成单表查询
    子查询会产生临时表,消耗较多内存与CPU,极大影响数据库性能

    这里引申出一个老师给我的答案:非常感谢Alex老师
子查询会产生临时表效率低,效率低体现在两方面:
一、因为要产生临时表,所以空间复杂度很高,硬盘IO也很大;
二、因为是嵌套查询,所以时间复杂度也很高。查询算法的好坏要从空间复杂度和时间复杂度两个角度来思考。
JOIN查询有两个特点:
一、它的时间复杂度和嵌套查询是一样的,都是乘法级别的时间复杂度,举个例子,两张100条数据的表,两张表的join查询在
时间复杂度方面就相当于是查一张有10000条数据的表。如果是大表,一张表有1亿条数据,乘法级别的时间复杂度是很难想象的。
二、再来说说空间复杂度:子查询会产生临时表,并不代表JOIN查询就一定不会产生像临时表一样的东西,大多数的JOIN查询不
会产生像临时表一样的东西,这是因为数据量小,工作内存很够用。想像一下,两张有1亿条数据的表,把数据全部导到内存中,
然后进行条件查询比对,如果MySQL真的这样做,那么它可以改名叫redis缓存了。它的本质是硬盘数据库,不是缓存,所以数据量大时,
临时文件也一定要存在硬盘。也就是说,如果是JOIN查询的是大表,其实和你想像的大表子查询在过程方面是没有本质区别的。
这不光是58的军规,很多企业都是这样的,领导没有时间和每一个程序员去分析查询算法的空间复杂度与时间复杂度,所以才定军规。
  1. 禁止使用OR条件,必须改为IN查询
    解读:旧版本MySQL的OR查询是不能命中索引的,即使能命中索引,为何要让数据库耗费更多的CPU帮助实施查询优化呢?
    in 的查询算法是类似于二分法查找,条件在多的情况下效率肯定要比or好
  2. 应用程序必须捕获SQL异常,并有相应处理
    总结:大数据量高并发的互联网业务,极大影响数据库性能的都不让用,不让用哟!所以你出问题了要有相应的处理并且方便维护,及时“查漏补缺”
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
版权声明 楚狂人Windows驱动编程基础教程 本书是免费电子书。作者保留一切权利。但在保证本书完整性(包括版权声明、前言、正文内容、后记、以及作者的信息),并不增删、改变其中任何文字内容的前提下,欢迎任何读者以任何形式(包括各种格式的文档)复制和转载本书。同时不限制利用此书赢利的行为(如收费注册下载,或者出售光盘或打印版本)。不满足此前提的任何转载、复制、赢利行为则是侵犯版权的行为。 发现本书的错漏之处,请联系作者。请不要修改本文中任何内容,不经过作者的同意发布修改后的版本。 前言 本书非常适合熟悉Windows应用编程的读者转向驱动开发。所有的内容都从最基础的编程方法入手。介绍相关的内核API,然后举出示范的例子。这本书只有不到70页,是一本非常精简的小册子。所以它并不直接指导读者开发某种特定类型的驱动程序。而是起到一个入门指导的作用。 即使都是使用C/C++语言的代码,在不同的应用环境中,常常看起来还是大相径庭。比如用TurboC++编写的DOS程序代码和用VC++编写的MFC应用程序的代码,看起来就几乎不像是同一种语言。这是由于它们所依赖的开发包不相同的缘故。 在任何情况下都以写出避免依赖的代码为最佳。这样可以避免重复劳动。但是我们在学习一种开发包的使用时,必须习惯这个环境的编码方式,以便获得充分利用这个开发包的能力。 本书的代码几乎都依赖于WDK(Windows Driver Kit)。但是不限WDK的版本。WDK还在不断的升级中。这个开发包是由微软公司免费提供的。读者可以在微软的网站上下载。 当然读者必须把WDK安装的计算机上并配置好开发环境。具体的安装和配置方法本书没有提供。因为网上已经有非常多的中文文档介绍它们。 读完这本书之后,读者一定可以更轻松的阅读其他专门的驱动程序开发的文档和相关书籍。而不至于看到大量无法理解的代码而中途放弃。如果有任何关于本书的内容的问题,读者可以随时发邮件到[email protected]或者walled_river@hotmail.com。能够回答的问题我一般都会答复。 写本书的时候,我和wowocock合作的一本名为《天书夜读》(在网上有一个大约20%内容的缩减电子版本)正在电子工业出版社编辑。预计还有不到一个月左右就会出版。这也是我自己所见的唯一一本中文原创的从汇编和反汇编角度来学习Windows内核编程和信息安全软件开发的书。希望读者多多支持。有想购买的读者请发邮件给我。我会在本书出版的第一时间,回复邮件告知购买的方法。 此外我正在写另一本关于Windows安全软件的驱动编程的书。但是题目还没有拟好。实际上,读者现在见到的免费版本的《Windows驱动编程基础教程》是从这本书的第一部分中节选出来的。这本书篇幅比较大,大约有600-800页。主要内容如下: 第一章驱动编程基础 第二章磁盘设备驱动 第三章磁盘还原与加密 第四章传统文件系统过滤 第五章小端口文件系统过滤 第六章文件系统保护与加密 第七章协议网络驱动 第八章物理网络驱动 第九章网络防火墙与安全连接 第十章打印机驱动与虚拟打印 第十一章视频驱动与过滤 附录A WDK的安装与驱动开发的环境配置 附录B 用WinDbg调试Windows驱动程序

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值