MongoDB副本集、分片综合应用

最新推荐文章于 2024-08-15 15:04:12 发布

韦宝麟

最新推荐文章于 2024-08-15 15:04:12 发布

阅读量673

点赞数 17

文章标签： mongodb 数据库

本文链接：https://blog.csdn.net/2302_80467554/article/details/139749459

版权

MongoDB的副本集（Replica Set）和分片（Sharding）是两种用于提高数据可用性、冗余性和可扩展性的关键技术。以下是关于这两种技术的综合应用过程的详细细化：

MongoDB副本集（Replica Set）

1. 环境准备

服务器配置：准备多台MongoDB服务器，通常至少3台以形成最小的故障容忍副本集。

网络配置：确保所有服务器之间的网络连接稳定可靠。
安装MongoDB：在每台服务器上安装相同版本的MongoDB。

2. 配置副本集

初始化配置：

选择一个服务器作为初始主节点（Primary），其他服务器作为从节点（Secondary）。3个服务器启动mongo

当连接到mongodb后，则可以进行初始化副本集如下：

注：副本集的一些shell命令如下图：

配置文件修改：

如：修改每台服务器的MongoDB配置文件（通常是mongod.conf），指定副本集名称、IP地址、端口等。

1.启动访问控制并强制进行身份验证：

开启用户认证前需要创建一个sdrhjk7用户如：
执行 mongo

然后在配置文件中添加如下配置信息：

2.限制网络访问：

启动服务：

启动三个节点服务：

三个节点启动方式相同

4. 验证管理

接下来需要验证一下复制集的数据同步。

在主节点(127.0.0.1:27017)上的test库collection集合c1中插入数据

复制另一个节点（127.0.0.1：27019）验证是否同步，命令

我们需要运行命令：副本集的从库持久设置

至此MongoDB复制集数据同步就完成了。如果感兴趣，可以继续验证复制集故障迁移(自动容灾)，可以将主节点进行模拟宕机(关闭主节点的服务)，然后你就会看到另外从节点就变成了主节点。

MongoDB分片（Sharding）

1. 设计分片策略：

MongoDB之所以能够实现自动分片，这是因为其内置了分片策略。MongoDB通过分片键(ShardKey)将集合中的数据划分为多个块(Chunk)(默认大小为64MB，每个块均表示集合中数据的一部分)，然后MongoDB根据分片策略将划分的块分发到分片集群中。需要注意，分片键可以是集合文档中的一个或多个字段。
MongoDB的分片策略主要包括范围分片和哈希分片两种，介绍如下

范围分片

MongoDB根据分片键的值范围将数据划分为不同块，每个分片都包含了分片键在一定范围内的数据。这样的话，若有文档写入时，MongoDB会根据该文档的分片键，从而交由指定分片服务器去处理。下面，通过一张图来介绍范围分片策略，具体如图所示。

从图中可以看出，若文档分片键的哈希值为5，则该文档需要交由分片服务器A进行相关处理;若文档分片键的哈希值为12，则该文档需要交由分片服务器B进行相关处理;若文档分片键的哈希值为23，则该文档需要交由分片服务器C进行相关处理。
使用基于哈希分片时，拥有“相近“分片键的文档不会存储在同一个分片服务器中，这样的话，数据的分离性会更好，可以保证分片集群中数据分布均衡。但是，由于数据是通过哈希计算进行随机存放的，因此会降低查询性能。

哈希分片

在MongoDB分片集群中，只有各组件间的协同工作，才可使得分片集群正常运行。在学习分片集群的操作之前，有必要先来学习一下分片集群架构。下面，通过一张图来介绍分片集群架构，具体如图所示。

从图中可以看出，分片集群中主要由三个部分组成，即分片服务器(Shard)、路由服务器(Mongos)以及配置服务器(ConfigServer)组成。其中，分片服务器有三个，即Shard1.Shard2、shard3;路由服务器有两个，即Mongos1和Mongos2;配置服务器有三个，即主、副、副。
主要有如下所述三个主要组件:
Shard:
用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障Config Server:mongod实例，存储了整个ClusterMetadata，其中包括chunk信息Query Routers:
前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

2. 配置分片

启动配置服务器：

配置服务器用于存储集群的元数据和配置信息。

即Config Server。在生产环境中，通常需要多个配置服务器，因为它存储了分片集群的元数据，并且这些数据是不允许丢失的。因此，需要配置多个配置服务器以防止数据丢失，尽管其中一台分片服务器宕机，我们还有其它配置服务器，从而保证MongoDB分片集群依然能够正常工作。从MongoDB3.4版本开始，配置服务器必须部署副本集，因此我们需要配置三个配置服务器组成的副本集。
配置服务器存储着分片集群的持久化元数据，而路由服务器存储着分片集群的非持久化元数据，这些数据均为内存缓存的数据。当路由服务器初次启动或关闭重启时，就会从配置服务器中加载分片集群的元数据。若是配置服务器的信息发生变化，则会通知所有路由服务器更新自己的状态，这样路由服务器就能继续准确的协调客户端与分片集群的交互工作。