MongoDB分片部署

最新推荐文章于 2024-10-17 21:34:09 发布

2023大数据2班韦丽娟

最新推荐文章于 2024-10-17 21:34:09 发布

阅读量1k

点赞数 8

文章标签： mongodb 数据库

本文链接：https://blog.csdn.net/2301_81875462/article/details/139458907

版权

一、MongoDB的分片简介

分片（sharding）是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区（partitioning)来表示这个概念。分片(Sharding)技术是开发人员用来提高数据存储和数据读写吞吐量常用的技术之一。简单的来说，分片主要是将数据进行划分后，将它们分别存放于不同机器上的过程。通过使用分片可以实现降低单个机器的压力和处理更大的数据负载功能。分片与副本集主要区别在于，分片是每个节点存储数据的不同片段，而副本集是每个节点存储数据的相同副本。
所有数据库都可以进行手动分片(ManualSharding)，因此，分片并不是MongoDB特有的。不同类型的数据均可以通过人为操作被分配到不同的数据库服务器上，然而，人工分片是需要编写相关代码来实现分片功能，并且还不容易维护(如集群中节点发生变动的情况)。MongoDB数据库可以实现自动分片，它内置了多种分片逻辑，使得MongoDB可以自动处理分片上数据的分布，也可以很容易的管理分片集群

MongoDB分片是MongoDB支持的另一种集群形式，它可以满足MongoDB数据量呈爆发式增长的需求。当MongoDB存储海量的数据时，一台机器可能无法满足数据存储的需求，也可能无法提供可接受的读写吞吐量，这时，我们就可以通过在多台机器上对海量数据进行划分(即分片)，使得MongoDB数据库系统能够存储和处理更多的数据。

分片策略

MongoDB之所以能够实现自动分片，这是因为其内置了分片策略。MongoDB通过分片键(Shard Key)将集合中的数据划分为多个块(Chunk)(默认大小为64MB，每个块均表示集合中数据的一部分)，然后MongoDB根据分片策略将划分的块分发到分片集群中。需要注意，分片键可以是集合文档中的一个或多个字段。
MongoDB的分片策略主要包括范围分片和哈希分片两种，介绍如下
范围分片
MongoDB根据分片键的值范围将数据划分为不同块，每个分片都包含了分片键在一定范围内的数据。这样的话，若有文档写入时，MongoDB会根据该文档的分片键，从而交由指定分片服务器去处理。下面，通过一张图来介绍范围分片策略，具体如图所示。

范围分片

MongoDB根据分片键的值范围将数据划分为不同块，每个分片都包含了分片键在一定范围内的数据。
这样的话，若有文档写入时，MongoDB会根据该文档的分片键，从而交由指定分片服务器去处理。下面，通过一张图来介绍范围分片策略，具体如图所示。

从图中可以看出，若文档分片键的值范围在[minkey，10)中，则该文档需要交由分片服务器A进行相关处理;若文档分片键的值范围在[10，20)中，则该文档需要交由分片服务器B进行相关处理;若文档分片键的值范围在[20，maxKey)中，则该文档需要交由分片服务器C进行相关处理。
使用基于范围分片时，拥有相近分片键的文档会存储在同一个分片服务器中，从而提升范围查询的效率。但是，当插入批量文档时，分片键集中在一定范围内，就会导致数据分布不均匀，从而导致其中一个分片服务器负载过重。

哈希分片(Hash Sharding)

哈希分片类似于范围分片，两者的区别在于范围分片是MongoDB根据分片键的值直接进行范围划分，而哈希分片则先将分片键的值进行哈希计算后，然后对这些哈希值进行范围划分，从而使得每个分片都包含了哈希值在一定范围内的数据;范围分片可以支持复合分片键，而哈希分片只支持单个字段作为分片键，哈希值的随机性，使得数据随机分布在分片集群中不同分片服务器上。下面，通过一张图介绍哈希分片策略，如图所示。

二、分片的组成

--片

片是保存子集数据的容器，片可是单个Mongod服务器，也可以是副本集。
--mongos

mongos就是MongoDB各版本中都配的路由器进程。它路由所有请求，然后将结果聚合。它本身并不存储数据或者配置信息。
--配置服务器

配置服务器存储了集群的配置信息：数据和片的对应关系。Mongos不永久存放数据，所有需要个地方存放分片配置。它会从配置服务器获取同步数据。

使用的配置版本

OS:win10

MongoDB:4.4.24

伪分布式

三、分片结构

从图中可以看出，分片集群中主要由三个部分组成，即分片服务器（ Shard ）、路由服务器
（ Mongos ）以及配置服务器（ Config Server ）组成。其中，分片服务器有三个，即 Shard1 、
Shard2 、 Shard3 ；路由服务器有两个，即 Mongos1 和 Mongos2 ；配置服务器有三个，即主、副、副。
主要有如下所述三个主要组件：
Shard: 用于存储实际的数据块，实际生产环境中一个shard server 角色可由几台机器组个一个 replica set（副本集群）承担，防止主机单点故障【3.6版本后必须配置成副本集群】
Config Server: mongod实例，存储了整个 ClusterMetadata ，其中包括 chunk 信息【3.4版本后必须部署成副本集群】。
Query Routers: 前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。