高性能MySQL读书笔记 (六)

1. 可扩展的Mysql

可扩展性: 通过增加资源提升容量的能力

1.1 考虑负载

容量可以简单地认为是处理负载的能力,考虑负载可从以下几个角度

1. 数据量: 很多应用从不物理删除任何数据,应用所积累的数据量是可扩展的普遍挑战

2. 用户量: 更多的用户意味着更多的事务,更多的复杂查询

3. 用户活跃度

4. 相关数据集的大小

1.2 规划可扩展性

1. 估算需要承担的负载到底有多少

2. 大致正确地估计日程表

3. 应用的功能完成多少

4. 预期的最大负载是多少

5. 如果依赖系统的每个部分分担负载,某个部分失效时会发生什么

1.3 向上扩展(垂直扩展)

1. 单台服务器增加各种高性能硬件

2. 烧钱有效的方法

3. 不应该无限制向上扩展

1.4 向外扩展

1. 策略: 复制,拆分,数据分片

2. 按功能拆分: 常见做法,根据功能将应用部署在不同服务器,并使用专用的数据库服务器

1.4.1 数据分片

数据分片是目前扩展大型MySQL最通用且最成功的方法

1. 应用设计初期考虑到,后期实现就比较容易,否则很难将应用从单一数据存储转换为分片架构

2. 文中举例: 通过用户id来对文章和评论进行分片,而将用户的信息保留在单个节点上

3. 数据库访问抽象层,降低应用和分片数据之间通信的复杂度

4. 如非必要尽量不分片

5. 数据分片最大的挑战就是查找和获取数据

6. 类似于表分区,选择分区键和数据分片方式是关键,具体请细查

1.5 通过集群扩展

1. 可以使用集群或数据库分布式技术根据场景适当解决一些问题

2. 书中提到技术: NDB Cluster, Clustrix等技术

1.6 向内扩展

1. 对不再需要的数据进行归档和清理

2. 需要考虑对应用的影响

3. 需要考虑数据逻辑的一致性,例如清理A表历史数据时需要考虑所有关联数据的处理

4. 冷热数据分离

1.7 负载均衡

1.7.1 目的

1. 可扩展性: 如读写分离时从备库读数据

2. 高效性: 把更多工作分配给更好的机器

3. 可用性: 使用时刻保持可用的服务器

4. 透明性: 客户端无需知道服务器

5. 一致性: 如果应用是有状态的,负载均衡器就应该将相关的查询指向同一个服务器

1.7.2 直接连接

1.7.2.1 复制上的读写分离

1. 基于查询分离: 将不能容忍脏数据的查询分配到主库,其他分配到备库

2. 基于脏数据分离: 让应用检查复制延迟,许多报表类应用使用这个策略

3. 基于会话分离: 可以在会话层做一个标记,如果用户修改了数据,则一段时间内总是指向主库

4. 基于版本分离: 给用户的操作增加版本号,检查版本号决定从主库还是备库读取数据

1.7.2.3 修改DNS名

1. 通过变更DNS名指定的服务器实现

2. 缺点很多,不建议

1.7.2.4 转移IP地址

1. 在服务器之间转移虚拟地址

2. 给服务器分配固定的ip地址,为每个逻辑上的服务使用一个虚拟ip地址

1.7.3 引入中间件

1. 负载均衡器,如HAproxy

2. 负载均衡算法: 随机, 轮询,最少连接数,最快响应,哈希,权重

3. 服务器池中增加或移除服务器: 在配置连接池中的服务器时,要保证有足够多未使用的容量

2. 高可用性

1. 高可用性意味着更少的宕机时间

2.1 宕机原因

1. 磁盘空间不足

2. 糟糕的sql或者服务器bug引起

3. 糟糕的表和索引设计

4. 复制问题通常由于主备数据不一致导致

2.2 高可用性实现

1. 衡量指标: 平均失效时间(MTBF), 平均恢复时间(MTTR)

2. 避免问题: 适当的配置,监控和规范

3. 保证在宕机时能快速恢复,系统制造冗余,具备故障转移能力

2.2.1 避免单点失效

1. 通过增加冗余避免

2. 共享存储或磁盘复制,如果服务器挂了,备用服务器可以挂载相同的文件系统执行需要的恢复操作

3. MySQL同步复制

2.2.2 故障转移和故障恢复

1. 提升备库或切换角色

2. 虚拟IP地址或IP接管: 当MySQL实例失效时可以将IP地址转移到另一台MySQL服务器上

3. 使用中间件解决方案

3. 备份与恢复

3.1 设计MySQL备份方案考虑点

1. 在线备份还是离线备份

2. 逻辑备份还是物理备份

3. 非显著数据: 如二进制日志和InnoDB事务日志

4. 代码: 存储过程,触发器

5. 服务器配置和复制配置

6. 外部配置,管理脚本

7. 增量备份和差异备份

8. 存储引擎和数据一致性

3.2 备份数据方式

1. 文件系统中或SAN快照中直接复制数据文件

2. Percona XtraBackup 做热备份

3.3 InnoDB崩溃恢复

1. 二级索引损坏: 使用OPTIMIZE TABLE修复损坏的二级索引,此外可以通过构建一个新表重建受影响的索引

2. 聚簇索引损坏: innodb_force_recovery导出表

3. 损坏系统结构: 系统结构包括事务日志等,可能需要做整个数据库的导出和还原,因为InnoDB内部绝大部分的工作可能受影响

4. MySQL用户工具

工欲善其事,必先利其器

4.1 接口工具

1. MySQL Workbench: 一站式的工具

2. SQLyog: 可视化工具之一

4.2 命令行工具集

1. Percona Toolkit

2. MySQL Workbench 工具集

4.3 SQL实用集

1. common_schema

2. MySQL Forge

4.4 监测工具

1. Nagios

2. Zabbix: 同时支持监控和指标收集的完整系统

3. Zenoss: Python写的

4. Hyperic HQ: 基于Java

4.5 Innotop命令行监控

主要包括以下功能

1. 事务列表

2. 当前运行的查询

3. 当前锁和锁等待列表

4. 服务器状态和变量汇总信息

5. InnoDB内部信息

6. 复制监控