MongoDB副本集、分片综合应用

前言
认识mongoDB:
MongoDB副本集包括主节点（primary）跟副本节点（Secondaries）。

主节点:只能有一个，所有的写操作请求都在主节点上面处理。副本节点可以有多个，通过同步主节点的操作日志（oplog）来备份主节点数据。在主节点挂掉后，有选举权限的副本节点会自动发起选举，并从中选举出新的主节点。

副本节点可以通过配置指定其具体的属性，比如选举、隐藏、延迟同步等，最多可以有50个副本节点，但只能有7个副本节点能参与选举。

副本集 :是一组 Mongod 维护相同数据集的实例。副本集可以包含多个数据承载点和多个仲裁点。在承载数据的节点中，仅有一个节点被视为主节点，其他节点称为次节点。

主从复制和副本集区别
主从集群和副本集最大的区别就是副本集没有固定的主节点；整个集群会选出一个主节点，当其挂掉后，又在剩下的从节点中选中其他节点为主节点，副本集总有一个主节点和一个或多个备份节点.

分片概述
分片主要是将数据进行划分后，将它们分别存放于不同机器上的过程。通过使用分片可以实现降低单个机器的压力和处理更大的数据负载功能。分片与副本集主要区别在于，分片是每个节点存储数据的不同片段，而副本集是每个节点存储数据的相同副本。

(一)部署副本集
环境准备
1.首先配置副本路径
也就是配置三个实例，在配置之前先停止正在运行的mongod.exe,也就是我们的服务。副本集各服务器的基本信息及角色分配如下表。

将之前配置好的mongodb里的bin复制至mongodb1中，在mongodb1中新建db文件夹和log文件夹存在对应的数据库数据以及日志数据。

2.启动三个实例

语法:bin>mongod -port 端口号  -dbpath 数据路径 -logpath 日志路径 -replSet 副本集名称

实例：

注意:需要使用replSet命令，在每一个bin目录下启动,注意路径不要写错

tips：以上三个节点启动的都是一次性服务，所以窗口不要关闭！

节点启动可能会遇到问题，主要检查端口是否被占用，和路径配置问题。若都有问题则考虑以管理员身份启动cmd.且27017,27018,27019分别是三个实例的端口号

配置集群
进入其中一个实例，配置设置（维持服务不要关闭）语句:mongo -port 27017
 

进行配置：

1.切换到admin数据库：
语法:use admin

2.配置集群：
config={_id:"rs0",members:[
... {_id:0,host:"localhost:27017","priority":3},
... {_id:1,host:"localhost:27018","priority":2},
... {_id:2,host:"localhost:27019","priority":1}]}
说明：第一个“_id”为副本集名称，“priority”为优先级，数字越大，优先级越高。

3.使得配置生效：
使用 mongo 进入第一个 mongod 示例，使用 rs.initiate() 进行初始化即:

rs.initiate(config)

实例：

注：生效后可能会出现节点显示正确如下代码：rs0.SECONDARY

编写代码前的”>符号的变化，在没有配置好复制集之前只有”>“，初始化后有rs0:SECONDARY>“了，SECONDARY表示该节点是从节点，PRIMARY表示该节点是主节点。[当然，当前显示有点问题，查看一下状态就会改变]

从节点配置

刚刚配置好的副本集中的从节点是无法进行数据库操作的如下：

要先进行从节点永久化设置：

rs.slaveOk()或者使用(推荐使用)：rs.secondaryOk() 

实例：

注:我们现在已经完成了复制集的搭建。还有一种初始化的方法，就是先只初始化一个节点，然后再通过命令rs.add("ip:port") 来添加从节点或通过命令rs.addArb("ip:port")来添加投票节点。

验证MongoDB复制集
1.接下来需要验证一下复制集的数据同步。
在主节点（127.0.0.1:27017）上的test库collection集合c1中插入数据。如下两例：

 use test

 

db.c1.insert({name:"zpq",age:1})或db.c4.insert({name:"副本测试",numL1})

2.登陆另一个从节点（127.0.0.1:27019）验证是否同步

命令:mongo127.0.0.1:27019或mongolocalhost:27019或mongo-port27019

在从节点上验证。例：

注:若显示如下代码,则说明副本集群部署成功。

(二)部署分片集群

环境准备

每一个分片都应该安装MongoDB实例，和前面的主从复制类似，也需要将bin文件分别复制到两个空文件夹中，并且创建data文件以及log文件存放数据库数据和日志数据

文件存放数据库数据和日志数据：

                       

配置分片（shard）集群
1.启动分片服务
进入要分片的数据库bin目录中，启动cmd（如）：mongod --shardsvr --replSet shard1-port 4006 -dbpath"D:\mongodb\shard11\data"-

logpath  "D:\mongodb\shard1\log\shard11.log"  

注：--shardsvr为分片声明。不要关闭此窗口，最小化即可。

再次进入要分片的数据库bin目录中，启动cmd：>mongod --shardsvr --replSet shard1 -port 4007 -dbpath "D:\shard1\shard12\data" -logpath  "D:\shard1\shard12\log\shard12.log"

2.进入分片一 初始化分片集

进入要分片的数据库bin目录中，启动cmd（如）：mongod --shardsvr --replSet shard1-port 4006 -dbpath"D:\mongodb\shard11\data"- logpath  "D:\mongodb\shard1\log\shard11.log"

注：--shardsvr为分片声明。不要关闭此窗口，最小化即可。

再次进入要分片的数据库bin目录中，启动cmd：>mongod --shardsvr --replSet shard1 -port 4007 -dbpath "D:\shard1\shard12\data" -logpath  "D:\shard1\shard12\log\shard12.log"
 

2.进入分片一 初始化分片集

config1={ id:"shard1",members:[

{ id:0,host:"localhost:4006",priority:1},

{id:1,host:"localhost:4007",priority:2}]}

        rs.initiate(config)：

3.进入分片二 初始化分片集

config2={ id:"shard2",members:[
{ id:0,host:"localhost:4008",priority:2},

{ id:1,host:"localhost:4009",priority:1}]}

rs.initiate(config)：

配置启动 Config Server

环境准备

在MongoDB 3版本后config服务必须配置为从副本集，所以直接用前面设置好了的副
本启动即可，建立两个空文件夹复制MongoDB的bin，且在每个文件夹添加data和log

启动Config1:
进入要分片的数据库bin目录中，启动cmd

mongod --configsvr --replSet confset -port
4002 -dbpath "D:\config\config1\data"- logpath "D:\config\config1\log\conf1.log"
 

tips：configsvr 这里我们完全可以像启动普通mongodb服务一样启动，不需要添加—shardsvr和configsvr参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以。

注：一次性启动服务，不要关闭cmd窗口，最小化即可

启动Config2：
mongod --configsvr --replSet confset -port 4003 -dbpath D:\config\config2\data -logpath D:\config\config2\log\conf2.log
 

进入任何一个配置服务器的节点初始化配置服务器的群集
重新打开一个cmd，再bin目录下mongod -port 4002

配置设置
config3={ id:"confset",configsvr:true,members:[
{ id:0,host:"localhost:4002"},

{ id:1,host:"localhost:4003"},

{ id:2,host:"localhost:4004"}]}

rs.initiate(config)：
 

配置路由服务器 Route Process
可以创建专门的文件夹存放日志，例我创建mongo空文件夹

在进入目录要分片的数据库bin中启动cmd代码如下：

mongos --configdb confset/localhost:4002,localhost:4003 -logpath D:\mongos\log\mongos.log -port 4000（如图）：

注：mongos就是一个路由服务器，它会根据管理员设置的“片键”将数据分摊到自己管理的mongod集群，数据和片的对应关系以及相应的配置信息保存在"config服务器"上。

配置分片sharding，添加分片索引
1.bin目录下使用MongoDB Shell登录到mongos:

mongo -port 4000
 

2.分别添加Shard节点：

sh.addShard("shard1/localhost:4006,localhost:4007")和 sh.addShard("shard2/localhost:4008,localhost:4009")如下所示：

测试分片

1.登入路由端口（4000）指定要分片的数据库：

mongos> sh.enableSharding("test")

指定数据库里需要分片的集合和片键，片键根据实际情况选择： sh.shardCollection("test.c2",{"_id":"hsahed"})上述指令指定分片集合为c2，分片字段为“id”，分片形式是哈希分片，若改成“1”则为范围分片

注：如果集合已经包含数据，则必须在分片集合之前创建一个支持分片键的索引，如果集合为空，则mongodb 将创建索引。

2.插入数据验证：
 for(var i=1;i<=10000;i++){
... db.c2.save({id:i,name:"a"+i});}

robo 3T查看分片集

连接两个 shard 端口查看分片情况，若两个片段不同，则说明分片成功！

最后
重新打开mongodb服务，即可像原来一样使用，但是数据存储方式和原来已经不一样了，变成了分布式的分片存储。

tips：
1.电脑版本比较高，所以的cmd需要使用管理员身份运行。
2.启动服务均为一次性服务，关闭cmd即为关闭服务，所以在未完成前，请勿关闭.
3.实例均未添加至系统环境变量，请在bin目录下启动.
4.虽然窗口很多，操作不太友好，但是在win系统下，还是多有耐心一点，linux会简单一些，详情看书上。