Mongdb分片集群教程

MongoDB分片是MongoDB支持的另一种集群形式，它可以满足MongoDB数据量呈爆发式增长的需求。当MongoDB存储海量的数据时，一台机器可能无法满足数据存储的需求，也可能无法提供可接受的读写吞吐量，这时，我们就可以通过在多台机器上对海量数据进行划分(即分片)，使得MongoDB数据库系统能够存储和处理更多的数据。

分片概述

分片(Sharding)技术是开发人员用来提高数据存储和数据读写吞吐量常用的技术之一。简单的来说，分片主要是将数据进行划分后，将它们分别存放于不同机器上的过程。通过使用分片可以实现降低单个机器的压力和处理更大的数据负载功能。分片与副本集主要区别在于，分片是每个节点存储数据的不同片段，而副本集是每个节点存储数据的相同副本。
所有数据库都可以进行手动分片(ManualSharding)，因此，分片并不是MongoDB特有的。不同类型的数据均可以通过人为操作被分配到不同的数据库服务器上，然而，人工分片是需要编写相关代码来实现分片功能，并且还不容易维护(如集群中节点发生变动的情况)。MongoDB数据库可以实现自动分片，它内置了多种分片逻辑，使得MongoDB可以自动处理分片上数据的分布，也可以很容易的管理分片集群。
由于数据量太大，导致本地磁盘不足以存储的情况;为了提高数据库性能，从而将海量数据存储在内存若是出现数据请求量太大，导致单MongoDB机器不能中，导致单个MongoDB数据库内存不足的情况;满足读写数据的性能情况。若是出现这三种情况，我们就可以使用MongoDB的分片技术来解决。

分片策略

MongoDB之所以能够实现自动分片，这是因为其内置了分片策略。MongoDB通过分片键(ShardKey)将集合中的数据划分为多个块(Chunk)(默认大小为64MB，每个块均表示集合中数据的一部分)，然后MongoDB根据分片策略将划分的块分发到分片集群中。需要注意，分片键可以是集合文档中的一个或多个字段。
MongoDB的分片策略主要包括范围分片和哈希分片两种，介绍如下

范围分片

MongoDB根据分片键的值范围将数据划分为不同块，每个分片都包含了分片键在一定范围内的数据。这样的话，若有文档写入时，MongoDB会根据该文档的分片键，从而交由指定分片服务器去处理。下面，通过一张图来介绍范围分片策略，具体如图所示。

从图中可以看出，若文档分片键的哈希值为5，则该文档需要交由分片服务器A进行相关处理;若文档分片键的哈希值为12，则该文档需要交由分片服务器B进行相关处理;若文档分片键的哈希值为23，则该文档需要交由分片服务器C进行相关处理。
使用基于哈希分片时，拥有“相近“分片键的文档不会存储在同一个分片服务器中，这样的话，数据的分离性会更好，可以保证分片集群中数据分布均衡。但是，由于数据是通过哈希计算进行随机存放的，因此会降低查询性能。

分片集群架构

在MongoDB分片集群中，只有各组件间的协同工作，才可使得分片集群正常运行。在学习分片集群的操作之前，有必要先来学习一下分片集群架构。下面，通过一张图来介绍分片集群架构，具体如图所示。

从图中可以看出，分片集群中主要由三个部分组成，即分片服务器(Shard)、路由服务器(Mongos)以及配置服务器(ConfigServer)组成。其中，分片服务器有三个，即Shard1.Shard2、shard3;路由服务器有两个，即Mongos1和Mongos2;配置服务器有三个，即主、副、副。
主要有如下所述三个主要组件:
Shard:
用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障Config Server:mongod实例，存储了整个ClusterMetadata，其中包括chunk信息Query Routers:
前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。具体如下:

分片服务器

即MongoDB实例(即mongod，用Shard表示)，分片服务器是实际存储数据的组件，持有完整数据集中的一部分，每个分片服务器都可以是一个MongoDB实例，也可是一组MongoDB实例组成的集群(副本集)。从MongoDB3.6开始，必须将分片部署为副本集，这样具有更好的容错性。

路由服务器

即mongos，路由服务器主要提供客户端应用程序与分片集群交互的接口，所有请求都需要通过路由服务器进行协调工作。路由服务器实际上就是一个消息分发请求中心，它负责把客户端应用程序对应的数据请求转发到对应的分片服务器上。应用程序将查询、存储、更新等请求原封不动地发送给路由服务器。路由服务器询问配置服务器操作分片服务器需要获取哪些元数据，然后连接相应的分片服务器进行相关操作，最后将各个分片服务器的响应进行合并，返回给客户端应用程序。
生产环境中，一个分片集群通常会有多个路由服务器，一方面可以解决多个客户端同时请求，从而达到负载均衡的效果;另一方面可以解决当路由服务器宕机时导致整个分片集群无法使用的问题。

配置服务器

即Config Server。在生产环境中，通常需要多个配置服务器，因为它存储了分片集群的元数据，并且这些数据是不允许丢失的。因此，需要配置多个配置服务器以防止数据丢失，尽管其中一台分片服务器宕机，我们还有其它配置服务器，从而保证MongoDB分片集群依然能够正常工作。从MongoDB3.4版本开始，配置服务器必须部署副本集，因此我们需要配置三个配置服务器组成的副本集。
配置服务器存储着分片集群的持久化元数据，而路由服务器存储着分片集群的非持久化元数据，这些数据均为内存缓存的数 据。当路由服务器初次启动或关闭重启时，就会从配置服务器中加载分片集群的元数据。若是配置服务器的信息发生变化，则会通知所有路由服务器更新自己的状态，这样路由服务器就能继续准确的协调客户端与分片集群的交互工作。

部署分片集群

环境准备

并且创建db文件以及log文件存放数据库数据和日志数据，每一个分片都应该安装MongoDB实例，和前面的主从复制类似，也需要将bin文件复制到每个分片中，

启动分片服务

首先关闭之前打开的数据库服务

启动分片服务1

然后进行要分片的数据库bin目录中，启动cmd

--shardsvr为分片声明

不要关闭此窗口，最小化即可

再次进入要分片的数据库bin目录中，再次启动cmd

启动分片服务2

然后进行要分片的数据库bin目录中，再启动cmd

进入要分片的数据库bin目录中，再再次启动cmd

进入分片——初始化分片集

进入分片二 初始化分片集

配置启动 Config Server

值得注意的是:在MongoDB 3版本后config服务必须配置为从副本集，所以直接用前面设置好了的副本启动即可
老样子，每个文件夹添加data和log

三个实例共三个cmd窗口

启动Config 1：

进入要分片的数据库bin目录中

-.configsvr 这里我们完全可以像启动普通mongodb服务一样启动，不需要添加-shardsvr和configsvr参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以。

三个实例共三个cmd窗口【一次性启动服务，不要关闭cmd窗口，最小化即可】

启动Config 2：

启动Config 3：

进入任何一个配置服务器的节点初始化配置服务器的群集

重新打开一个cmd，再bin目录下

配置设置

配置分片sharding，添加分片索引

bin目录下使用Mongdb Shell登入到mongos，添加Shard节点

在进入要分片的数据库bin目录中启动cmd

mongos: mongos就是一个路由服务器，它会根据管理员设置的“片键”将数据分摊到自己管理的mongod集群，数据和片的对应关系以及相应的配置信息保存在"config服务器上。

配置分片sahreding，添加分片索引

bin目录下使用Mongdb Shell登入到mongos，添加Shard节点

查看分片集

mongodb分片测试

登入4000的端口

指定要分片的数据库

指定数据库里需要的集合和分键，片键根据实际情况选择

如果集合已经包含数据，则必须在分片集合之前创建一个支持分片键的索引，如果集合为空，则mongodb将创建索引

向test库里的c2集合插入10000条数据

这里可能是数据量太少了，出来的结果并不是我想象的结果，根据官方说明，单调变化的键上进行分片，考虑使用哈希分片

robo 3T查看分片集

robo 3T链接4000端口进行查看

也可以连接两个shard端口查看分片情况

最后

重新打开mongodb服务，即可像原来一样使用，但是数据存储方式和原来已经不一样了，变成了分布式的分片存储。

tips：

电脑版本比较高，所以的cmd需要使用管理员身份运行

启动服务均为一次性服务，关闭cmd即为关闭服务，所以在未完成前，请勿关闭

实例均未添加至系统环境变量，请在bin目录下启动

虽然窗口很多，操作不太友好，但是在win系统下，还是多有耐心一点，linux会简单一些，详情看书上。