MongoDB分片集群

一、分片集群概述

1. 定义：分片是一种跨多台机器分布数据的方法，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。
2. 目的：通过将数据拆分并分散存储在不同的机器上，分片集群可以在不需要功能强大的大型计算机的情况下，存储更多的数据并处理更多的负载。
3. 组成：MongoDB分片集群主要由三种组件组成：mongos、config server和shard。

二、分片集群组件 

mongos（路由节点）

• 作用：作为数据库集群请求的入口，所有的请求都通过mongos进行协调。
• 特点：mongos是一个请求分发中心，负责把对应的数据请求转发到相应的shard服务器上。
• 配置建议：在生产环境通常有多个mongos作为请求的入口，以防止单点故障。

config server（配置服务器） 

• 作用：存储所有数据库元信息（路由、分片）的配置。
• 特点：mongos本身不存储分片服务器和数据路由信息，只是缓存在内存里，而config server则实际存储这些数据。
• 配置建议：在生产环境通常有多个config server配置服务器，以保证数据的冗余和故障转移能力。

shard（分片） 

• 作用：存储实际的数据，每个shard都是一个MongoDB实例。
• 特点：通过将数据分散到不同的shard上，可以分摊单个服务器的压力。
• 配置建议：对于每个shard，通常会构建replica set（副本集）以保证数据的可靠性和高可用性。生产环境通常是2个副本+1个仲裁的配置。

三、分片集群的搭建与配置 

1. 环境准备：在搭建分片集群之前，需要准备足够的服务器资源，并安装MongoDB服务。确保所有服务器之间的网络连通性，并配置好防火墙规则。
2. 配置config服务器：启动三个config服务器实例，以提供数据冗余和故障转移的能力。
3. 启动分片节点：在每个服务器上启动MongoDB实例，并配置为分片节点（shard）。根据需要添加多个分片节点。
4. 启动mongos路由进程：启动一个或多个mongos实例，以提供负载均衡和高可用性。
5. 初始化分片集群：通过mongos路由进程连接到config服务器，并执行相关命令来初始化分片集群。指定分片集群的名称、config服务器的地址以及分片节点的地址等信息。
6. 配置分片键和分片集合：为需要分片的集合指定一个分片键（shard key）。分片键是用于将数据分散到不同分片上的字段或字段组合。

 

四、分片集群的优势 

1. 水平扩展：通过添加更多的shard，可以轻松扩展存储和计算能力。
2. 高可用性：通过replica set和故障转移机制，保证数据的高可用性。
3. 负载均衡：mongos路由进程可以根据负载情况将数据请求分发到不同的shard上，实现负载均衡。
4. 灵活性：可以根据实际需求动态调整shard的数量和配置，以适应不同的工作负载。

   MongoDB分片集群的搭建通常涉及多个步骤，包括配置config服务器、分片服务器（shards）以及mongos路由服务器。下面是一个简化的示例，展示如何配置一个基本的MongoDB分片集群。

下面是一个基本的示例： 

 

1. 部署配置服务器副本集

首先，你需要部署一个配置服务器副本集。配置服务器存储集群的元数据和分片信息。

步骤：

1. 为配置服务器创建配置文件（例如，config1.conf，config2.conf，config3.conf）。

   # config1.conf  
   systemLog:  
     destination: file  
     logAppend: true  
     path: /var/log/mongodb/config1.log  
     
   storage:  
     dbPath: /var/lib/mongo/config1  
     journal:  
       enabled: true  
     
   processManagement:  
     fork: true  
     
   net:  
     bindIp: 0.0.0.0  
     port: 27019  
     
   replication:  
     replSetName: configReplSet

2. 使用mongod命令和相应的配置文件启动配置服务器实例。

   mongod --config /path/to/config1.conf  
   # 对于config2.conf和config3.conf，也执行类似的命令
   

3. 初始化配置服务器副本集。

   mongo --host localhost --port 27019
   

4. 在mongo shell中：

   use admin  
   config = {  
     _id: "configReplSet",  
     members: [  
       { _id: 0, host: "localhost:27019" },  
       { _id: 1, host: "localhost:27020" },  // 假设这是config2.conf的端口  
       { _id: 2, host: "localhost:27021" }   // 假设这是config3.conf的端口  
     ]  
   }  
   rs.initiate(config)

2. 部署分片服务器副本集

接下来，你需要部署一个或多个分片服务器副本集。每个分片服务器副本集都存储分片数据。

步骤：

1. 为每个分片服务器创建配置文件（例如，shard1-1.conf，shard1-2.conf，shard2-1.conf等）。与配置服务器类似，但端口和路径不同。
2. 使用mongod命令和相应的配置文件启动分片服务器实例。

   mongod --config /path/to/shard1-1.conf  
   # 对于其他分片服务器也执行类似的命令
   

3. 初始化每个分片服务器的副本集。与配置服务器副本集类似，但使用不同的副本集名称和成员

3. 部署mongos路由进程

mongos是MongoDB的路由进程，它充当MongoDB客户端和分片集群之间的中介。客户端连接到mongos来执行读写操作，mongos知道数据在哪个分片上，并将请求路由到正确的分片。

步骤：

1. 为mongos创建配置文件（可选，但通常使用命令行参数）。
2. 使用mongos命令启动路由进程，并指定配置服务器的连接字符串。

   mongos --configdb configReplSet/localhost:27019,localhost:27020,localhost:27021
   

4. 添加分片到集群

一旦你有了配置服务器副本集和分片服务器副本集，你就可以将分片添加到集群中了。

步骤：

1. 连接到mongos。

   mongo --host localhost --port 27017  # 假设这是mongos的端口
   

2. 使用sh.addShard()命令将分片添加到集群。

   use admin  
   sh.addShard("shardReplSet/localhost:27017,localhost:27018")  // 假设这是分片服务器的副本集
   

5. 配置分片键并启用分片

最后，你需要为集合配置分片键并启用分片。

步骤：

1. 连接到mongos。与上一步相同
2. 使用sh.shardCollection()命令为集合配置分片键。

   use yourDatabaseName  
   sh.shardCollection("yourDatabaseName.yourCollectionName", { "shardKeyField": 1 })