详解MongoDB 分片策略

~奔跑的简默~

已于 2023-10-24 11:30:19 修改

阅读量3.9k

点赞数 2

分类专栏： MongoDB系列文章标签： mongodb 数据库 nosql 1024程序员节

于 2023-05-22 18:45:00 首次发布

本文链接：https://blog.csdn.net/weixin_59801183/article/details/130730465

版权

MongoDB 分片策略

MongoDB 分片功能可以在多个服务器上分散存储数据集，实现水平扩展。本文档将介绍 MongoDB 的分片策略以及如何设置分片环境。

1. 分片概述

分片是将一个数据集划分为多个部分（分片）并分布在不同服务器上，通过将数据分布在多个服务器上的策略，以实现水平扩展。分片解决了数据量大、单个节点无法承载的问题。在分片架构中，数据被分成多个片段（shard），每个片段存储在一个独立的服务器或服务器集群上。通过将数据分布在多个服务器上，可以在多个节点（分片）上分散读写负载，提供更大规模的存储和更高性能的查询。总之分片可以提高查询性能、写入性能和数据存储能力。

在 MongoDB 中，分片是基于集合（collection）进行的。一个分片集合的数据会被分布在多个片段上，每个片段负责存储一部分数据。为了确定数据应该存储在哪个片段上，MongoDB 使用一种称为分片键（shard key）的机制。分片键是集合中的一个或多个字段，用于根据其值将数据划分为不同的片段。

2. 分片结构

分片集群包括以下三种类型的节点：

分片（Shard）：存储实际数据的节点。在一个分片集群中可以有多个分片，每个分片可以是单个服务器或副本集。
配置服务器（Config Server）：存储分片集群的元数据，例如片段信息、分片键、分片的数据分布规则等。配置服务器通常部署为一个副本集，确保元数据的高可用性。
分片路由（Mongos）：分片查询路由器，接收客户端请求并路由到合适的分片。分片路由节点维护数据分布的缓存情况，Mongos 会根据配置服务器中的元数据确定请求应该发送到哪个片段，使客户端请求可以直接发送到正确的分片。

客户端通过连接到 Mongos 发起请求，而无需直接连接到片段。这样，客户端无需了解分片集群的具体结构，可以像访问普通 MongoDB 服务器一样访问分片集群。

3. 分片策略

3.1 分片原理

3.2 分片键选择

选择一个合适的分片键对于分片集群的性能至关重要。一个好的分片键应该具有以下特点：

高基数：分片键应具有许多唯一值，以便数据可以在片段之间均匀分布。
与查询模式相关：分片键应与应用程序的查询模式相关，以便提高查询性能。例如，如果应用程序经常根据用户 ID 查询数据，那么用户 ID 可能是一个好的分片键。
避免热点：分片键应避免产生热点，即避免某个片段上的数据过于集中。热点可能导致某个片段的负载过高，从而影响整个分片集群的性能。

MongoDB 提供两种分片策略：

3.2.1 范围分片

范围分片是一种基于分片键值范围的分片策略。在这种策略下，数据根据分片键的值被划分为多个连续的范围，每个范围对应一个片段。根据分片键上的范围将数据分配到分片。范围分片依赖于分片键具有良好的分布特征。范围分片的优点是可以实现数据的有序存储，从而提高范围查询的性能。然而，范围分片可能导致数据分布不均匀当分片键趋于单调或某些范围内的值过于集中时，可能导致某些分片上的数据或读写请求数相对较高，造成瓶颈，从而影响性能和可扩展性。
为了实现范围分片，您需要选择一个合适的分片键。一个好的分片键应该具有以下特点：

具有高基数（即有许多唯一值），以便数据可以在片段之间均匀分布。
与查询模式相关，以便提高查询性能。

3.2.2 哈希分片

哈希分片是一种基于分片键值哈希的分片策略。将分片键进行哈希运算，然后根据哈希值对数据进行分配。这可以实现更均匀的数据分布和负载均衡，但牺牲了查询时基于范围的优化。在这种策略下，数据根据分片键的哈希值被划分为多个范围，每个范围对应一个片段。哈希分片的优点是可以实现数据的均匀分布，从而提高性能和可扩展性。然而，哈希分片可能导致数据的无序存储，从而降低范围查询的性能。
为了实现哈希分片，您需要选择一个合适的分片键。一个好的分片键应该具有以下特点：