MongoDB分片（windows）

分片概述

分片（Sharding）技术是开发人员用来提高数据存储和数据读写吞吐量常用的技术之一。简单的来说，分片主要是将数据进行划分后，将它们分别存放于不同机器上的过程。通过使用分片可以实现降低单个机器的压力和处理更大的数据负载功能。分片与副本集主要区别在于，分片是每个节点存储数据的不同片段，而副本集是每个节点存储数据的相同副本。

分片概述

所有数据库都可以进行手动分片（Manual Sharding），因此，分片并不是MongoDB特有的。不同类型的数据均可以通过人为操作被分配到不同的数据库服务器上，然而，人工分片是需要编写相关代码来实现分片功能，并且还不容易维护（如集群中节点发生变动的情况）。MongoDB数据库可以实现自动分片，它内置了多种分片逻辑，使得MongoDB可以自动处理分片上数据的分布，也可以很容易的管理分片集群。
由于数据量太大，导致本地磁盘不足以存储的情况；为了提高数据库性能，从而将海量数据存储在内存中，导致单个MongoDB数据库内存不足的情况；若是出现数据请求量太大，导致单MongoDB机器不能满足读写数据的性能情况。若是出现这三种情况，我们就可以使用MongoDB的分片技术来解决。

分片集群架构

在MongoDB分片集群中，只有各组件间的协同工作，才可使得分片集群正常运行。在学习分片集群的操作之前，有必要先来学习一下分片集群架构。下面，通过一张图来介绍分片集群架构，具体如图所示。

部署分片集群

环境准备

分片	节点	ip：端口	数据库路径	日志路径
1	shard1（主）	localhost:4006	D:\mongodb\shard1\db	D:\mongodb\shard1\log
1	shard2（副）	localhost:4007	D:\mongodb\shard2\db	D:\mongodb\shard2\log
1	shard3（主）	localhost:4008	D:\mongodb\shard3\db	D:\mongodb\shard3\log
1	shard4（副）	localhost:4009	D:\mongodb\shard4\db	D:\mongodb\shard4\log

每一个分片都应该安装MongoDB实例，和前面的主从复制类似，也需要将bin文件复制到每个分片中，并且创建db文件以及log文件存放数据库数据和日志数据

启动分片服务

首先关闭之前打开的数据库服务

启动分片服务1

然后进入要分片的数据库bin目录中，启动cmd

mongod shardsvr replSet shard1 dbpath “D:\mongodb\shard1\db” port 4006logpath “D:\mongodb\shard1\log\shard1.log”

–shardsvr为分片声明

不要关闭此窗口，最小化即可
再次进入要分片的数据库bin目录中，启动cmd

 mongod shardsvr replSet shard1 dbpath "D:\mongodb\shard2\db" port 4007logpath "D:\mongodb\shard2\log\shard2.log"

启动分片服务2

进入要分片的数据库bin目录中，再再次启动cmd

>mongod shardsvr replSet shard2 dbpath "D:\mongodb\shard3\db" port 4008logpath "D:\mongodb\shard3\log\shard2.log"

进入要分片的数据库bin目录中，再再再次启动cmd

mongod shardsvr replSet shard2 dbpath "D:\mongodb\shard4\db" port 4009logpath "D:\mongodb\shard4\log\shard2.log"

进入分片一 初始化分片集

config1={ id:“shard1”,members:[
{ id:0,host:“localhost:4006”,priority:1},{ id:1,host:“localhost:4007”,priority:2}]}

进入分片二 初始化分片集

config2={ id:“shard2”,members:[
{ id:0,host:“localhost:4008”,priority:2},{ id:1,host:“localhost:4009”,priority:1}]}
rs.initiate(config2)

配置启动 Config Server

值得注意的是：在MongoDB 3版本后config服务必须配置为从副本集，所以直接用前面设置好了的副
本启动即可
老样子，每个文件夹添加data和log

config实例	端口号	数据库路径	日志路径
config1	4002	D:\mongodb\config1\db	D:\mongodb\config1\log
config2	4003	D:\mongodb\config2\db	D:\mongodb\config2\log
config3	4004	D:\mongodb\config3\db	D:\mongodb\config3\log

三个实例共三个cmd窗口

启动Config1：

进入要分片的数据库bin目录中

mongod configsvr replSet confset dbpath “D:\mongodb\config1\db” port
4002 logpath “D:\mongodb\config1\log\config1.log”

–configsvr 这里我们完全可以像启动普通mongodb服务一样启动，不需要添加—shardsvr和configsvr参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以。

三个实例共三个cmd窗口[一次性启动服务，不要关闭cmd窗口，最小化即可]

启动Config2：

mongod configsvr replSet confset dbpath “D:\mongodb\config2\db” port
4003 logpath “D:\mongodb\config1\log\config2.log”

启动Config3：

mongod configsvr replSet confset dbpath “D:\mongodb\config3\db” port
4004 logpath “D:\mongodb\config1\log\config3.log”

进入任何一个配置服务器的节点初始化配置服务器的群集
重新打开一个cmd，再bin目录下

配置设置

config3={ id:“confset”,configsvr:true,members:[
{ id:0,host:“localhost:4002”},{ id:1,host:“localhost:4003”},{ id:2,host:“localhost:4004”}]}
rs.initiate(config3)

配置路由服务器 Route Process

可以创建专门的文件夹存放日志

在进入要分片的数据库bin目录中启动cmd

mongos configdb confset/127.0.0.1:4002,127.0.0.1:4003,127.0.0.1:4003 logpath
“D:\mongodb\mongos\log\mongos.log” port 4000

mongos： mongos就是一个路由服务器，它会根据管理员设置的“片键”将数据分摊到自己管理的mongod集群，数据和片的对应关系以及相应的配置信息保存在"config服务器"上。

配置分片sharding，添加分片索引

bin目录下使用MongoDB Shell登录到mongos，添加Shard节点

sh.addShard(“shard1/localhost:4006,localhost:4007”)

sh.addShard(“shard2/localhost:4008,localhost:4009”)

查看分片集

db.getSiblingDB(“config”).shards.find()

mongodb分片测试

登入4000端口

指定要分片的数据库

sh.enableSharding(“test”)

指定数据库里需要分片的集合和片键，片键根据实际情况选择

sh.shardCollection(“test.c2”,{“id”:1})//1表示范围分片，“hashed”表示哈希分片

如果集合已经包含数据，则必须在分片集合之前创建一个支持分片键的索引，如果集合为空，则mongodb将创建索引。
向test库里的c2集合插入10000条数据

for (var i = 1; i<=10000;i++) db.c2.save({id:i,“test1”:“testval”+i})
#查看c2信息sh.status()

这里可能是数据量太少了，出来的结果并不是我想像的那样，根据官方说明，单调变化的键上进行分片，考虑使用哈希分片。

robo 3T查看分片集

robo 3T链接4000端口进行查看

也可以连接两个shard端口查看分片情况

最后

重新打开mongodb服务，即可像原来一样使用，但是数据存储方式和原来已经不一样了，变成了分布式的分片存储。

技术指导

tips：

电脑版本比较高，所以的cmd需要使用管理员身份运行
启动服务均为一次性服务，关闭cmd即为关闭服务，所以在未完成前，请勿关闭
实例均未添加至系统环境变量，请在bin目录下启动
虽然窗口很多，操作不太友好，但是在win系统下，还是多有耐心一点，linux会简单一些，详情看书上。