从小白到架构师 | 数据库优化最后的杀手锏---数据库分片

最新推荐文章于 2024-09-13 21:40:38 发布

非科班大厂码农（同名公众号）

最新推荐文章于 2024-09-13 21:40:38 发布

阅读量723

点赞数 33

文章标签：数据库

本文链接：https://blog.csdn.net/weixin_42627385/article/details/141064942

版权

你们公司的app经过大规模推广之后，用户数量急剧增加，系统产生的数据也呈现爆炸式增长。这种情况给数据库带来了瓶颈，进而使应用程序变慢，影响了用户体验。

数据库分片可以解决这个问题，然而，很多人对数据库分片的概念并不清楚，更重要的是，他们不知道在何种情况下应使用这种技术。

在本文中，我们将讨论什么是数据库分片，它是如何工作的以及使用它的最佳姿势。

在深入探索之前，有必要了解为什么我们要对数据存储进行分片，以及在分片之前还有哪些可行的选择—数据库分片成本很高，如果有其它更简单的方案能解决您系统的问题，尽量不使用数据库分片。

通常，当数据库中的表达到一定规模时，许多人会认为分片是解决所有问题的万能方案。然而，我曾遇到过一张包含数十亿条记录的表，并未使用分片技术却依然能正常工作。

什么是数据库分片？

简单来说，数据库分片是一种将数据分布到多台机器上的方法。当单台数据库实例无法处理预期的工作负载时，分片往往可以解决问题。

我们可以通过几种方式对数据进行分片，并将特定的表移至对应的数据库实例上。

一种方式称之为垂直分片（Vertical Sharding），它是根据表的列来分割数据。例如一个用户表，里面包含了很多列，比如 user_id、name、email、address、phone_number 等。当数据量很大时，这个表可能会变得很庞大，也难以管理。

在垂直分片中，我们可以将表拆分成多个子表，比如：

一个表存储用户的基本信息：user_id、name、email
另一个表存储用户的联系方式：user_id、address、phone_number

另一种方式是水平分片（Horizontal Sharding），它是根据表的行来分割数据。就是将同一张表的记录分别存储在多个数据库节点上，这引入了分片键的概念，我们会在后面详细介绍。

分片之前我有哪些选择？

在数据库分片之前，还有一些其他选择可以考虑。像任何分布式架构一样，数据库分片是有成本的。设置分片、保持每个分片上的数据更新、并确保请求被正确路由到对应的分片，这些都是非常耗时且复杂的操作。因此，在决定分片之前，您可能需要考虑是否有其他更简单的方案来解决系统中的问题。

选项 1：什么也不做。

如果系统目前没有明显的瓶颈或限制因素（例如硬件可以支持当前的工作负载），那么最好的选择可能是什么都不做。架构设计中有一个重要的原则——“不要过度设计”，这同样适用于此处。

选项 2：使用更合适的数据库

有时候，系统的性能问题可能是仅仅因为选择了不合适的数据库导致的。

举个例子，假设有一个电商网站，用户经常搜索产品。如果把所有搜索相关的数据都存储在 MySQL 这样的关系型数据库中，可能会导致查询速度变慢。这是因为关系型数据库不擅长处理大量的搜索请求。相反，如果把这些数据移到 Elasticsearch 这样的搜索引擎中，搜索性能会显著提高，因为 Elasticsearch 专门为搜索操作进行了优化。

类似地，如果你的网站需要存储大量的用户上传的图片或视频，把这些数据直接存储在 MySQL 中会占用大量的存储空间并且影响查询性能。把这些大块数据移到对象存储（如 AWS S3）中，可以减轻数据库的负担，提高整体性能。

选项 3：垂直扩展

垂直扩展是什么了？就是购买性能更强大（更强的CPU、更大的内容或磁盘）的服务器来部署数据库，这种方式不需要重新设计应用程序和数据库架构，相对数据库分片这种方案成本更低。

但是，垂直扩展也有两个不足之处：

存在上限：单台机器性能再怎么强大也是有上限的，即使是世界上最强大的服务器，也有可能在未来无法支撑您的业务需求。
单点故障：因为数据库实例只部署在一台机器上，一旦这台机器出问题了，意味着就不能为线上服务提供数据支持了，甚至导致数据的丢失，而数据可以说是一个企业最重要的资产之一。

选项 4：主从复制

如果您对数据库所做的大部分操作是读取数据，那么主从复制是一个不错的选择。

主从复制是一种常用的数据库分布式架构，用于提升系统的可用性和读写性能。它的基本原理是将主数据库服务器的写操作传播到一个或多个从数据库服务器，从数据库将这些写
操作也执行一遍以达到和主数据库数据一致的状态。

可以看出，主从复制实现了数据的冗余备份和读写分离。

必要时进行分片

如果前面介绍的几种方案还是搞不定了，那么可以考虑使用数据库分片了。

分片技术可以提高系统吞吐量、存储容量和可用性，从而为您提供几乎无限的可扩展性。

它是如何工作的？

在对数据库进行分片之前，我们需要回答几个重要问题。

1. 我们如何将数据分布到分片上？是否存在潜在的热点？

数据分布指的是如何根据某些规则将数据分配到不同的分片上。常见的分片方法有：

按范围分片：根据某个字段的值范围进行分片，比如 user_id 在 1-1000 的数据放在分片1，1001-2000 的数据放在分片2。
按哈希分片：对某个字段的值进行哈希运算，然后根据哈希值将数据分配到不同的分片。例如，将 user_id 进行哈希计算后，将结果对分片数量取模（求余），以决定数据放在哪个分片。

在分片过程中，热点问题指的是某个分片的数据量或访问量远远高于其他分片，导致该分片成为性能瓶颈，从而影响整个系统的效率。因此，设计分片策略时，需要尽量避免热点问题。

2. 我们会进行哪些查询，表之间如何交互？

假设我们有两个表：用户表（users）和订单表（orders）。用户表存储用户信息，订单表存储用户的订单信息。

我们可能经常进行如下查询：

# 查找某个用户的信息及其所有订单：这需要对用户表和订单表进行 JOIN 操作。
SELECT u.*, o.*
FROM users u
JOIN orders o ON u.user_id = o.user_id
WHERE u.user_id = 12345;


#查找某个用户的订单总数
SELECT COUNT(*) AS order_count
FROM orders
WHERE user_id = 12345;