MongoDB分片部署（windows）

mongodb教程11 分片
MongoDB 分片是 MongoDB 支持的另一种集群形式，它可以满足 MongoDB 数据量呈爆发式增长的需求。当MongoDB 存储海量的数据时，一台机器可能无法满足数据存储的需求，也可能无法提供可接受的读写吞吐量，这时，我们就可以通过在多台机器上对海量数据进行划分（即分片），使得MongoDB数据库系统能够存储和处理更多的数据
 

分片概述
分片（ Sharding ）技术是开发人员用来提高数据存储和数据读写吞吐量常用的技术之一。简单的来说，分片主要是将数据进行划分后，将它们分别存放于不同机器上的过程。通过使用分片可以实现降低单个机器的压力和处理更大的数据负载功能。分片与副本集主要区别在于，分片是每个节点存储数据的不同片段，而副本集是每个节点存储数据的相同副本
所有数据库都可以进行手动分片（ Manual Sharding ），因此，分片并不是 MongoDB 特有的。不同类型的数据均可以通过人为操作被分配到不同的数据库服务器上，然而，人工分片是需要编写相关代码来实现分片功能，并且还不容易维护（如集群中节点发生变动的情况）。MongoDB数据库可以实现自动分片，它内置了多种分片逻辑，使得MongoDB 可以自动处理分片上数据的分布，也可以很容易管理分片集群
由于数据量太大，导致本地磁盘不足以存储的情况；为了提高数据库性能，从而将海量数据存储在内存中，导致单个MongoDB 数据库内存不足的情况；若是出现数据请求量太大，导致单 MongoDB 机器不能满足读写数据的性能情况。若是出现这三种情况，我们就可以使用MongoDB 的分片技术来解决

分片策略
MongoDB 之所以能够实现自动分片，这是因为其内置了分片策略。 MongoDB 通过分片键（ Shard
Key ）将集合中的数据划分为多个块（ Chunk ）（默认大小为 64MB ，每个块均表示集合中数据的一部分），然后MongoDB 根据分片策略将划分的块分发到分片集群中。需要注意，分片键可以是集合文档中的一个或多个字段

范围分片

MongoDB 根据分片键的值范围将数据划分为不同块，每个分片都包含了分片键在一定范围内的数据。这样的话，若有文档写入时，MongoDB 会根据该文档的分片键，从而交由指定分片服务器去处理。下面，通过一张图来介绍范围分片策略，具体如图所示

从图中可以看出，若文档分片键的值范围在 [minKey ， 10 ）中，则该文档需要交由分片服务器 A 进行相关处理；若文档分片键的值范围在[10 ， 20 ）中，则该文档需要交由分片服务器 B 进行相关处理；若文档分片键的值范围在[20 ， maxKey ）中，则该文档需要交由分片服务器 C 进行相关处理
使用基于范围分片时，拥有相近分片键的文档会存储在同一个分片服务器中，从而提升范围查询的效率。但是，当插入批量文档时，分片键集中在一定范围内，就会导致数据分布不均匀，从而导致其中一个分片服务器负载过重

哈希分片
哈希分片类似于范围分片，两者的区别在于范围分片是 MongoDB 根据分片键的值直接进行范围划分，而哈希分片则先将分片键的值进行哈希计算后，然后对这些哈希值进行范围划分，从而使得每个分片都包含了哈希值在一定范围内的数据；范围分片可以支持复合分片键，而哈希分片只支持单个字段作为分片键。哈希值的随机性，使得数据随机分布在分片集群中不同分片服务器上。下面，通过一张图介绍哈希分片策略，如图所示。

从图中可以看出，若文档分片键的哈希值为 5 ，则该文档需要交由分片服务器 A 进行相关处理；若文档分片键的哈希值为12 ，则该文档需要交由分片服务器 B 进行相关处理；若文档分片键的哈希值为 23 ，则该文档需要交由分片服务器C 进行相关处理
使用基于哈希分片时，拥有 “ 相近 ” 分片键的文档不会存储在同一个分片服务器中，这样的话，数据的分离性会更好，可以保证分片集群中数据分布均衡。但是，由于数据是通过哈希计算进行随机存放的，因此会降低查询性能
 

分片集群架构

在 MongoDB 分片集群中，只有各组件间的协同工作，才可使得分片集群正常运行。在学习分片集群的操作之前，有必要先来学习一下分片集群架构。下面，通过一张图来介绍分片集群架构，具体如图所示

从图中可以看出，分片集群中主要由三个部分组成，即分片服务器（ Shard ）、路由服务器
（ Mongos ）以及配置服务器（ Config Server ）组成。其中，分片服务器有三个，即 Shard1 、
Shard2 、 Shard3 ；路由服务器有两个，即 Mongos1 和 Mongos2 ；配置服务器有三个，即主、副，副。

主要有如下所述三个主要组件：
Shard: 用于存储实际的数据块，实际生产环境中一个shard server 角色可由几台机器组个一个 replica set 承担，防止主机单点故障
Config Server: mongod实例，存储了整个 ClusterMetadata ，其中包括 chunk 信息。
Query Routers: 前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

部署分片集群

部署shard

环境准备

分片	节点	端口	路径
1	shard11(主)	4006	dbpath:D:\shard1\shard11\data logpath:D:\shard1\shard11\log
	shard12（从）	4007	dbpath:D:\shard1\shard12\data logpath:D:\shard1\shard12\log
2	shard21（主）	4008	dbpath:D:\shard2\shard21\data logpath:D:\shard2\shard21\log
	shard22（从）	4009	dbpath:D:\shard2\shard22\data logpath:D:\shard2\shard22\log

        每一个分片都应该安装 MongoDB 实例，和前面的主从复制类似，也需要将 bin 文件复制到每个分片中，并且创建db 文件以及 log 文件存放数据库数据和日志数据

步骤二 启动分片服务

启动分片集群1（shard11和shard12）

shard11

然后进入 数据库 bin 目录中，启动cmd

\bin>mongod --shardsvr --replSet shard1 -port 4006 -dbpath D:\shard1\shard11\data -logpath D:\shard1\shard11\log\shard11.log

shardsvr 为分片声明

当命令一直保持运行状态则说明服务运行成功，此服务为一次性服务，不要关闭此窗口，最小化即可

再次进入数据库bin目录中，启动cmd

bin>mongod --shardsvr --replSet shard1 -port 4007 -dbpath D:\shard1\shard12\data -logpath D:\shard1\shard12\log\shard12.log

启动分片集群2（shard21和shard22）

shard21

\bin>mongod --shardsvr --replSet shard2 -port 4008 -dbpath D:\shard2\shard21\data -logpath D:\shard2\shard21\log\shard21.log

shard22

\bin>mongod --shardsvr --replSet shard2 -port 4009 -dbpath D:\shard2\shard22\data -logpath D:\shard2\shard22\log\shard22.log

tips：

             
电脑版本比较高，所以的 cmd 需要使用管理员身份运行
启动服务均为一次性服务，关闭 cmd 即为关闭服务，所以在未完成前，请勿关闭
实例均未添加至系统环境变量，请在 bin 目录下启动
虽然窗口很多，操作不太友好，但是在 win 系统下，还是多有耐心一点， linux会简单一些
 

步骤三：配置分片（shard）集群

        进入分片一 初始化分片集

127.0.0.1：4006

use admin

config1={ id:"shard1",members:[
{ id:0,host:"localhost:4006",priority:1},
{ id:1,host:"localhost:4007",priority:2}
]}

进入到shard2集群任何一个节点中

127.0.0.1:4009

use admin

config2={ id:"shard2",members:[
{ id:0,host:"localhost:4008",priority:2},
{ id:1,host:"localhost:4009",priority:1}
]}

rs.initiate(config2)

shard集群配置好了

配置启动 Config Server

环境准备

值得注意的是：在MongoDB 3版本后config服务必须配置为从副本集，所以直接用前面设置好了的副本启动即可

老样子，每个文件夹添加data和log

config实例	端口	数据路径	日志路径
config1（主）	4002	D:\config\config1\data	D:\config\config1\log
config2（从）	4003	D:\config\config2\data	D:\config\config2\log

启动config server

启动config1

进入到bin目录中，启动cmd

\bin>mongod --configsvr --replSet confset -port 4002 -dbpath D:\config\config1\data -logpath D:\config\config1\log\conf1.log

--configsvr 这里我们完全可以像启动普通 mongodb 服务一样启动，不需要添加 —shardsvr 和 configsvr 参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以

启动config2

\bin>mongod --configsvr --replSet confset -port 4003 -dbpath D:\config\config2\data -logpath D:\config\config2\log\conf2.log

不要关闭 cmd 窗口，最小化即可!!!

 进入任何一个配置服务器的节点初始化配置服务器的群集

mongo -port 4002

config={ id:"confset",
configsvr:true,
members:[
{ id:0,host:"localhost:4002"},
{ id:1,host:"localhost:4003"}
]}

rs.initiate(config3)

部署路由服务器 Route Process

可以创建专门的文件夹存放日志

新建一个mongos的文件夹存放日志

在进入 数据库 bin 目录中 启动 cmd

D:\MongoDB\bin>mongos --configdb confset/localhost:4002,localhost:4003 -logpath D:\mongos\log\mongos.log -port 4000

mongos ： mongos 就是一个路由服务器，它会根据管理员设置的 “ 片键 ” 将数据分摊到自己管理的mongod 集群，数据和片的对应关系以及相应的配置信息保存在 "config 服务器 " 上

配置分片信息

bin 目录下使用 MongoDB Shell 登录到 mongos ，添加 Shard 节点

mongod -port 4000

mongos> sh.addShard("shard1/localhost:4006,localhost:4007")

mongos> sh.addShard("shard2/localhost:4008,localhost:4009")

测试分片

登入路由（4000） 端口

指定要分片的数据库

mongos> sh.enableSharding("test")

指定数据库里需要分片的集合和片键，片键根据实际情况选择

mongos> sh.shardCollection("test.c2",{"id":"hashed"})

上述指令指定分片集合为c2，分片字段为“id”，分片形式是哈希分片，若改成“1”则为范围分片

如果集合已经包含数据，则必须在分片集合之前创建一个支持分片键的索引，如果集合为空，则

mongodb 将创建索引

插入数据验证

mongos> for(var i=1;i<=10000;i++){
... db.c2.save({id:i,name:"a"+i});}