数据库性能优化

数据库性能优化

反规范化

数据库的规范化程度越高，数据库中的冗余信息就越少。然而，同时又有新的问题引入，规范化使得关系模式不断被拆解，这样关系模式之间的结构变得越来越复杂，在使用数据时频繁执行连接操作，而连接操作是最耗时间的，是数据库性能的制约因素。因此，从某种意义上来说，非规范化（反规范化）可以改善系统的性能。在进行数据库设计时，可以考虑合理增加冗余属性，以提升系统性能，
常用的措施如下：
( 1 ) 将常用的计算属性（例如，总计和最大值等）存储到数据库实体中。
( 2 ) 重新定义实体，以减少外部属性数据或行数据的开支。
( 3 ) 将关系进行水平或垂直分割，以提升并行访问度。
但是反规范化也会带来一些问题：
( 1 ) 数据冗余增。反规范化会导致相同的数据在多个地方重复存储。
( 2 ) 更新异常。由于数据冗余，当一处数据需要更新时，可能会遗漏其他重复存储的地方，导致数据不一致。
( 3) 插入异常。某些情况下，为了满足反规范化的结构要求，可能需要先插入一些不必要的数据。
( 4）删除异常。删除某些数据可能会意外删除其他有用的信息。

索引优化

索引是提高数据库查询速度的利器，而数据库查询往往又是数据库系统中最频繁的操作，因此，索引的建立与选择对数据库性能优化具有重大意义。
索引的建立与选择可遵循以下准则：
（1）建立索引时，应选用经常作为查询，而不常更新的属性。避免对一个经常被更新的属性建立索引，因为这样会严重影响性能。
（2）一个关系上的索引过多会影响 UPDATE、INSERT 和 DELETE 的性能，因为关系一旦进行更新，所有的索引都必须跟着做相应的调整。
（3）尽量分析出每个重要查询的使用频度，这样，可以找出使用最多的索引，然后可以先对这些索引进行适当的优化。
（4）对于数据量非常小的关系不必建立索引，因为对于小关系而言，关系扫描往往更快，而且消耗的系统资源更少。

冷热数据分离

数据冷热分离是指根据数据的访问频率和业务重要性，将数据分为冷数据和热数据，冷数据一般存储在存储在低成本、低性能的介质中，热数据高性能存储介质中。热数据是指经常被访问和修改且需要快速访问的数据，冷数据是指不经常访问，对当前项目价值较低，但需要长期保存的数据。
数据冷热分离的优缺点
优点：热数据的查询性能得到优化（用户的绝大部分操作体验会更好）、节约成本（可以冷热数据的不同存储需求，选择对应的数据库类型和硬件配置，比如将热数据放在 SSD 上，将冷数据放在 HDD 上）
缺点：系统复杂性和风险增加（需要分离冷热数据，数据错误的风险增加）、统计效率低（统计的时候可能需要用到冷库的数据）。
冷数据迁移方案：
（1）业务层代码实现：当有对数据进行写操作时，触发冷热分离的逻辑，判断数据是冷数据还是热数据，冷数据就入冷库，热数据就入热库。这种方案会影响性能且冷热数据的判断逻辑不太好确定，还需要修改业务层代码，因此一般不会使用。
（2）任务调度：可以利用 xxl-job 或者其他分布式任务调度平台定时去扫描数据库，找出满足冷数据条件的数据，然后批量地将其复制到冷库中，并从热库中删除。这种方法修改的代码非常少，非常适合按照时间区分冷热数据的场景。
（3）监听数据库的变更日志 binlog：将满足冷数据条件的数据从 binlog 中提取出来，然后复制到冷库中，并从热库中删除。这种方法可以不用修改代码，但不适合按照时间维度区分冷热数据的场景。