mongodb分片

MongoDB分片是MongoDB支持的另一种集群形式，它可以满足MongoDB数据量呈爆发式增长的需求。当MongoDB存储海量的数据时，一台机器可能无法满足数据存储的需求，也可能无法提供可接受的读写吞吐量，这时，我们就可以通过在多台机器上对海量数据进行划分（即分片），使得MongoDB数据库系统能够存储和处理更多的数据。

分片概述

分片（Sharding）技术是开发人员用来提高数据存储和数据读写吞吐量常用的技术之一。简单的来说，分片主要是将数据进行划分后，将它们分别存放于不同机器上的过程。通过使用分片可以实现降低单个机器的压力和处理更大的数据负载功能。分片与副本集主要区别在于，分片是每个节点存储数据的不同片段，而副本集是每个节点存储数据的相同副本。

所有数据库都可以进行手动分片（ManualSharding），因此，分片并不是MongoDB特有的。不同类型的数据均可以通过人为操作被分配到不同的数据库服务器上，然而，人工分片是需要编写相关代码来实现分片功能，并且还不容易维护（如集群中节点发生变动的情况）。MongoDB数据库可以实现自动分片，它内置了多种分片逻辑，使得MongoDB可以自动处理分片上数据的分布，也可以很容易的管理分片集群。
由于数据量太大，导致本地磁盘不足以存储的情况；为了提高数据库性能，从而将海量数据存储在内存中，导致单个MongoDB数据库内存不足的情况；若是出现数据请求量太大，导致单MongoDB机器不能满足读写数据的性能情况。若是出现这三种情况，我们就可以使用MongoDB的分片技术来解决。

分片策略

MongoDB之所以能够实现自动分片，这是因为其内置了分片策略。MongoDB通过分键（Shard Key）将集合中的数据划分为多个块（Chunk）（默认大小为64MB,每个块均表示集合中数据的一部分），然后MongoDB根据分片策略将划分的块分发到分片集群中。需要注意，分片键可以是集合文档中的一个或多个字段。

分片架构

部署分片集群

部署两个shard分片块，数据存储的地方 

第一步 环境准备

每一个分片都应该安装一个mongodb实例，需要将bin文件复制到每个分片当中，并创建data文件和log文件存放数据库数据和日志数据

每个shard包含两个实例，一主一从

第二步 启动分片服务

启动分片集群shard1（shard11和shard12）

shard11

进入数据库bin文件中，启动cmd

\bin>mongod --shardsvr --replSet shard1 -port 4006 -dbpath D:\shard1\shard11\data -logpath D:\shard1\shard11\log\shard11.log

--shardsvr 为分片声明

当命令一直保持运行状态则说明服务运行成功，此服务为一次性服务，不要关闭此窗口，最小化即可。 

启动分片集群2（shard21和shard22）

shard21

\bin>mongod --shardsvr --replSet shard2 -port 4008 -dbpath D:\shard2\shard21\data -logpath D:\shard2\shard21\log\shard21.log

shard22

\bin>mongod --shardsvr --replSet shard2 -port 4009 -dbpath D:\shard2\shard22\data -logpath D:\shard2\shard22\log\shard22.log

 tips:

电脑版本比较高，所以的 cmd 需要使用管理员身份运行

启动服务均为一次性服务，关闭 cmd 即为关闭服务，所以在未完成前，请勿关闭

实例均未添加至系统环境变量，请在 bin 目录下启动

虽然窗口很多，操作不太友好，但是在 win 系统下，还是多有耐心一点， linux会简单一些

步骤三：部署分片（shard1 shard2)集群

进入到shard1集群任何一个节点中

use admin
 
config={_id:"shard1",members:[
... {_id:0,host:"localhost:4006",priority:2},
... {_id:1,host:"localhost:4007",priority:1}
... ]}
 
 
 rs.initiate(config)

 进入到shard2集群任何一个节点中

use admin
 
config={_id:"shard2",members:[
... {_id:0,host:"localhost:4009",priority:2},
... {_id:1,host:"localhost:4010",priority:1}
... ]}
 
 
 rs.initiate(config)

 效果如下：

至此，shard的两个集群配置就好了

部署config server

步骤一：环境准备

值得注意的是：在 MongoDB 3。4 版本后 config 服务必须配置为 副本集，这里设置为一主一从。

跟之前一样，每个文件夹添加data和log

步骤二：启动config server

启动config1

进入到bin目录中，启动cmd

configsvr 这里我们完全可以像启动普通 mongodb 服务一样启动，不需要添加 —shardsvr 和 configsvr 参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以。

\bin>mongod --configsvr --replSet confset -port 4002 -dbpath D:\config\config1\data -logpath D:\config\config1\log\conf1.log

启动config2

\bin>mongod --configsvr --replSet confset -port 4003 -dbpath D:\config\config2\data -logpath D:\config\config2\log\conf2.log

不要关闭cmd窗口，最小化即可

步骤三：配置config server集群

进入任何一个配置服务器的节点初始化配置服务器的群集

 use admin
 
 
 config={_id:"confset",configsvr:true,members:[
... {_id:0,host:"localhost:4002"},
... {_id:1,host:"localhost:4003"}
... ]}
 
 
 rs.initiate(config)

部署路由服务器 Route Process

创建专门的文件夹存放日志

进入 数据库 bin 目录中 启动 cmd

 
D:\MongoDB\bin>mongos --configdb confset/localhost:4002,localhost:4003 -logpath D:\mongos\log\mongos.log -port 4000

mongos ： mongos 就是一个路由服务器，它会根据管理员设置的 “ 片键 ” 将数据分摊到自己管理的

mongod 集群，数据和片的对应关系以及相应的配置信息保存在 "config 服务器 " 上。

 

配置分片信息

bin 目录下使用 MongoDB Shell 登录到 mongos ，添加 Shard 节点

mongos> sh.addShard("shard2/localhost:4008,localhost:4009")

 

测试分片

登入路由（4000） 端口

指定要分片的数据库,以下指令指定分片数据库为test

mongos> sh.enableSharding("test")

指定数据库里需要分片的集合和片键，片键根据实际情况选择

mongos> sh.shardCollection("test.c1",{"id":"hashed"})

 

上述指令指定分片集合为c1，分片字段为“id”，分片形式是哈希分片，若改成“1”则为范围分片

如果集合已经包含数据，则必须在分片集合之前创建一个支持分片键的索引，如果集合为空，则

mongodb 将创建索引。

插入10000条数据验证，数据必须包含分片键：id

mongos> for(var i=1;i<=10000;i++){
... db.c1.save({id:i,name:"a"+i,age:i});}

输入sh.status() 查看分片集群状态

​​​​​​​两个shard都有数据分布，说明分片成功！