MongoDB分片集群（windows）

黎定侨20230322014

已于 2024-06-11 15:14:59 修改

阅读量763

点赞数 13

文章标签： mongodb 数据库

于 2024-06-11 14:23:59 首次发布

本文链接：https://blog.csdn.net/ldq20230322014/article/details/139597207

版权

一、分片集群概述

定义：分片是一种跨多台机器分布数据的方法，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。
目的：通过将数据拆分并分散存储在不同的机器上，分片集群可以在不需要功能强大的大型计算机的情况下，存储更多的数据并处理更多的负载。
组成：MongoDB分片集群主要由三种组件组成：mongos、config server和shard。

二、分片集群组件

mongos（路由节点）

作用：作为数据库集群请求的入口，所有的请求都通过mongos进行协调。
特点：mongos是一个请求分发中心，负责把对应的数据请求转发到相应的shard服务器上。
配置建议：在生产环境通常有多个mongos作为请求的入口，以防止单点故障。

config server（配置服务器）

作用：存储所有数据库元信息（路由、分片）的配置。
特点：mongos本身不存储分片服务器和数据路由信息，只是缓存在内存里，而config server则实际存储这些数据。
配置建议：在生产环境通常有多个config server配置服务器，以保证数据的冗余和故障转移能力。

shard（分片）

作用：存储实际的数据，每个shard都是一个MongoDB实例。
特点：通过将数据分散到不同的shard上，可以分摊单个服务器的压力。
配置建议：对于每个shard，通常会构建replica set（副本集）以保证数据的可靠性和高可用性。生产环境通常是2个副本+1个仲裁的配置。

三、分片集群的搭建与配置

环境准备：在搭建分片集群之前，需要准备足够的服务器资源，并安装MongoDB服务。确保所有服务器之间的网络连通性，并配置好防火墙规则。

配置config服务器：启动三个config服务器实例，以提供数据冗余和故障转移的能力。

启动分片节点：在每个服务器上启动MongoDB实例，并配置为分片节点（shard）。根据需要添加多个分片节点。

分片	节点（实例）	端口	路径
1	shard11(主)	4006	dbpath:D:\shard1\shard11\data logpath:D:\shard1\shard11\log
1	shard12(从)	4007	dbpath:D:\shard1\shard12\data logpath:D:\shard1\shard12\log
2	shard21(主)	4008	dbpath:D:\shard2\shard21\data logpath:D:\shard2\shard21\log

启动mongos路由进程：启动一个或多个mongos实例，以提供负载均衡和高可用性。

初始化分片集群：通过mongos路由进程连接到config服务器，并执行相关命令来初始化分片集群。指定分片集群的名称、config服务器的地址以及分片节点的地址等信息。

配置分片键和分片集合：为需要分片的集合指定一个分片键（shard key）。分片键是用于将数据分散到不同分片上的字段或字段组合。

config实例	端口	数据路径	日志路径
config1（主）	4002	D:\config\config1\data	D:\config\config1\log
config2（从）	4003	D:\config\config2\data	D:\config\config2\log

四、分片集群的优势

水平扩展：通过添加更多的shard，可以轻松扩展存储和计算能力。
高可用性：通过replica set和故障转移机制，保证数据的高可用性。
负载均衡：mongos路由进程可以根据负载情况将数据请求分发到不同的shard上，实现负载均衡。
灵活性：可以根据实际需求动态调整shard的数量和配置，以适应不同的工作负载。
MongoDB分片集群的搭建通常涉及多个步骤，包括配置config服务器、分片服务器（shards）以及mongos路由服务器。下面是一个简化的示例，展示如何配置一个基本的MongoDB分片集群。

下面是一个基本的示例：

1. 部署配置服务器副本集

首先，你需要部署一个配置服务器副本集。配置服务器存储集群的元数据和分片信息。

步骤：

为配置服务器创建配置文件（例如，config1.conf，config2.conf，config3.conf）。

# config1.conf  
systemLog:  
  destination: file  
  logAppend: true  
  path: /var/log/mongodb/config1.log  
  
storage:  
  dbPath: /var/lib/mongo/config1  
  journal:  
    enabled: true  
  
processManagement:  
  fork: true  
  
net:  
  bindIp: 0.0.0.0  
  port: 27019  
  
replication:  
  replSetName: configReplSet

使用mongod命令和相应的配置文件启动配置服务器实例。


mongod --config /path/to/config1.conf  
# 对于config2.conf和config3.conf，也执行类似的命令

初始化配置服务器副本集。
```
mongo --host localhost --port 27019
```

2. 部署分片服务器副本集
接下来，你需要部署一个或多个分片服务器副本集。每个分片服务器副本集都存储分片数据。

步骤：

为每个分片服务器创建配置文件（例如，shard1-1.conf，shard1-2.conf，shard2-1.conf等）。与配置服务器类似，但端口和路径不同。

使用mongod命令和相应的配置文件启动分片服务器实例。


mongod --config /path/to/shard1-1.conf  
# 对于其他分片服务器也执行类似的命令

初始化每个分片服务器的副本集。与配置服务器副本集类似，但使用不同的副本集名称和成员。

3. 部署`mongos`路由进程

mongos是MongoDB的路由进程，它充当MongoDB客户端和分片集群之间的中介。客户端连接到mongos来执行读写操作，mongos知道数据在哪个分片上，并将请求路由到正确的分片。

步骤：

为mongos创建配置文件（可选，但通常使用命令行参数）。
使用mongos命令启动路由进程，并指定配置服务器的连接字符串。

mongos --configdb configReplSet/localhost:27019,localhost:27020,localhost:27021

4. 添加分片到集群

一旦你有了配置服务器副本集和分片服务器副本集，你就可以将分片添加到集群中了。

步骤：

连接到mongos。

mongo --host localhost --port 27017  # 假设这是mongos的端口

5. 配置分片键并启用分片

最后，你需要为集合配置分片键并启用分片。

步骤：

连接到mongos。与上一步相同

使用sh.shardCollection()命令为集合配置分片键。

use yourDatabaseName  
sh.shardCollection("yourDatabaseName.yourCollectionName", { "shardKeyField": 1 })