Linux下Mongodb分片集群的搭建与使用

1 准备工作

1.1 为什么需要分片

• 存储容量需求超出单机磁盘容量。
• 活跃的数据集超出单机内存容量，导致很多请求都要从磁盘读取数据，影响性能。
• 写IOPS超出单个mongoDB节点的写服务能力。
• mongoDB支持自动分片以及手动分片，分片的基本单位是集合。

1.2 准备三台机器

shnode1: 192.168.1.111
shnode2: 192.168.1.112
shnode3: 192.168.1.113

1.3 分片集群规划

服务器说明：

1. **mongos，**数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。

2. config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！

3. shard，分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。

​ replica set，副本集，其实就是shard的备份，防止shard挂掉之后数据丢失。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。

4. 仲裁者（Arbiter），是复制集中的一个MongoDB实例，它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备，不能将Arbiter部署在同一个数据集节点中，可以部署在其他应用服务器或者监视服务器中，也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员（包括primary），需要添加仲裁节点做为投票，否则primary不能运行时不会自动切换primary。

1.4 服务器端口分配

1.5 创建用于文件存储目录

以shnode1为例进行目录创建，其他结点操作相同。

1. 创建主目录: /usr/local/shardcluster

   mkdir -p /usr/lcoal/shardcluster
   

2. 下载mongodb，并解压到shardcluster目录下（跟单机配置一样，略）

3. 创建配置文件目录

   mkdir -p /usr/local/shardcluster/configserver/configfile   #存储配置服务器的配置文件
   mkdir -p /usr/lcoal/shardcluster/configserver/data         #存储配置服务器的数据文件
   mkdir -p /usr/lcoal/shardcluster/configserver/logs         #存储配置服务器的日志文件
   

4. 创建分片存储的目录

   mkdir -p /usr/local/shardcluster/shard/configfile          #存储分片服务器的配置文件
   mkdir -p /usr/lcoal/shardcluster/shard/shard1_data         #存储分片服务器shnode1的数据文件
   mkdir -p /usr/lcoal/shardcluster/shard/shard2_data         #存储分片服务器shnode2的数据文件
   mkdir -p /usr/lcoal/shardcluster/shard/shard2_data         #存储分片服务器shnode3的数据文件
   mkdir -p /usr/lcoal/shardcluster/shard/logs                #存储分片服务器的日志文件
   

5. 创建路由文件目录

   mkdir -p /usr/local/shardcluster/mongos/configfile   #存储路由服务器的配置文件
   mkdir -p /usr/lcoal/shardcluster/mongos/logs         #存储路由服务器的日志文件
   

   ps: 路由服务器不需要存储数据 ，因此不需要配置数据文件夹

6. 创建用于存储各服务器的日志文件

   touch /usr/lcoal/shardcluster/configserver/logs/config_server.log    #配置服务器的日志文件
   touch /usr/lcoal/