mongodb 3.4 集群搭建：分片+副本集

mongodb 3.4 集群搭建：分片 + 副本集

1. 概述

1.1 背景

为解决 mongodb 在 replica set 每个从节点上面的数据库均是对数据库的全量拷贝，从节点压力在高并发大数据量的场景下存在很大挑战，同时考虑到后期 mongodb 集群的在数据压力巨大时的扩展性，应对海量数据引出了分片机制。

1.2 分片概念

分片是将数据库进行拆分，将其分散在不同的机器上的过程，无需功能强大的服务器就可以存储更多的数据，处理更大的负载，在总数据中，将集合切成小块，将这些块分散到若干片中，每个片只负载总数据的一部分，通过一个知道数据与片对应关系的组件 mongos 的路由进程进行操作。

1.3 基础组件

其利用到了四个组件： mongos ， config server ， shard ， replica set

mongos ：数据库集群请求的入口，所有请求需要经过 mongos 进行协调，无需在应用层面利用程序来进行路由选择， mongos 其自身是一个请求分发中心，负责将外部的请求分发到对应的 shard 服务器上， mongos 作为统一的请求入口，为防止 mongos 单节点故障，一般需要对其做 HA 。

config server ：配置服务器，存储所有数据库元数据（分片，路由）的配置。 mongos 本身没有物理存储分片服务器和数据路由信息，只是存缓存在内存中来读取数据， mongos 在第一次启动或后期重启时候，就会从 config server 中加载配置信息，如果配置服务器信息发生更新会通知所有的 mongos 来更新自己的状态，从而保证准确的请求路由，生产环境中通常也需要多个 config server ，防止配置文件存在单节点丢失问题。

shard ：在传统意义上来讲，如果存在海量数据，单台服务器存储 1T 压力非常大，无论考虑数据库的硬盘，网络 IO ，又有 CPU ，内存的瓶颈，如果多台进行分摊 1T 的数据，到每台上就是可估量的较小数据，在 mongodb 集群只要设置好分片规则，通过 mongos 操作数据库，就可以自动把对应的操作请求转发到对应的后端分片服务器上。

replica set ：在总体 mongodb 集群架构中，对应的分片节点，如果单台机器下线，对应整个集群的数据就会出现部分缺失，这是不能发生的，因此对于 shard 节点需要 replica set 来保证数据的可靠性，生产环境通常为 2 个副本 +1 个仲裁。

1.4 架构图

2. 安装部署

2.1 基础环境

为了节省服务器，采用多实例配置，三个 mongos ，三个 config server ，单个服务器上面运行不同角色的 shard （为了后期数据分片均匀，将三台 shard 在各个服务器上充当不同的角色。），在一个节点内采用 replica set 保证高可用，对应主机与端口信息如下

主机名	IP	组件 mongos	组件config server	shard
mongodb-1	192.168.13.150	端口： 20000	端口： 21000	主节点：  22001
				副本节点： 22002
				仲裁节点： 22003
mongodb-2	192.168.13.160	端口： 20000	端口： 21000	仲裁节点： 22001
				主节点：  22002
				副本节点： 22003
mongodb-3	192.168.13.165	端口： 20000	端口： 21000	副本节点： 22001
				仲裁节点： 22002
				主节点：  22003

2.2 安装部署

2.2.1 软件下载目录创建

[root@mongodb-1 local]# wget -c https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.4.10.tgz

[root@mongodb-1 local]# tar -zxvf mongodb-linux-x86_64-rhel62-3.4.10.tgz

[root@mongodb-1 local]# mv mongodb-linux-x86_64-rhel62-3.4.10 mongodb

[root@mongodb-1 local]# vim /etc/profile

export MONGODB_HOME=/usr/local/mongodb

export PATH=$MONGODB_HOME/bin:$PATH

[root@mongodb-1 local]# source /etc/profile

2.2.2 创建目录

分别在 mongodb-1/mongodb-2/mongodb-3 创建目录及日志文件

[root@mongodb-1 local]#mkdir -p /data/mongodb/mongos/{log,conf}

[root@mongodb-1 local]#mkdir -p /data/mongodb/mongoconf/{data,log,conf}

[root@mongodb-1 local]#mkdir -p /data/mongodb/shard1/{data,log,conf}

[root@mongodb-1 local]#mkdir -p /data/mongodb/shard2/{data,log,conf}

[root@mongodb-1 local]#mkdir -p /data/mongodb/shard3/{data,log,conf}

[root@mongodb-1 local]#touch /data/mongodb/mongos/log/mongos.log

[root@mongodb-1 local]#touch /data/mongodb/mongoconf/log/mongoconf.log

[root@mongodb-1 local]#touch /data/mongodb/shard1/log/shard1.log

[root@mongodb-1 local]#touch /data/mongodb/shard2/log/shard2.log

[root@mongodb-1 local]#touch /data/mongodb/shard3/log/shard3.log

2.2.3 配置 config server 副本集

在 mongodb3.4 版本后要求配置服务器也创建为副本集，在此副本集名称： replconf

在三台服务器上配置 config server 副本集配置文件，并启动服务

[root@mongodb-1 local]#cat>/data/mongodb/mongoconf/conf/mongoconf.conf<<EOF

dbpath=/data/mongodb/mongoconf/data

logpath=/data/mongodb/mongoconf/log/mongoconf.log

logappend=true

bind_ip = 0.0.0.0

port = 21000

maxConns = 1000 # 链接数

journal = true # 日志开启

journalCommitInterval = 200

fork = true # 后台执行

syncdelay = 60

oplogSize = 1000

configsvr = true # 配置服务器

replSet=replconf #config server 配置集 replconf

EOF

# 三台服务器均启动 config server

[root@mongodb-1 local]#mongod -f /data/mongodb/mongoconf/conf/mongoconf.conf

任意登录一台服务器进行配置服务器副本集初始化

[root@mongodb-1 local]#mongo --port 21000

use admin

config = {_id:"replconf",members:[

{_id:0,host:"192.168.13.150:21000"},

{_id:1,host:"192.168.13.160:21000"},

{_id:2,host:"192.168.13.165:21000"},]

}

rs.initiate(config);

查看集群状态：

replconf:OTHER> rs.status()

{

"set" : "replconf",

"date" : ISODate("2017-12-04T07:42:09.054Z"),

"myState" : 1,

"term" : NumberLong(1),

"configsvr" : true,

"heartbeatIntervalMillis" : NumberLong(2000),

"optimes" : {

"lastCommittedOpTime" : {

"ts" : Timestamp(1512373328, 1),

"t" : NumberLong(1)

},

"readConcernMajorityOpTime" : {

"ts" : Timestamp(1512373328, 1),

"t" : NumberLong(1)

},

"appliedOpTime" : {

"ts" : Timestamp(1512373328, 1),

"t" : NumberLong(1)

},

"durableOpTime" : {

"ts" : Timestamp(1512373328, 1),

"t" : NumberLong(1)

}

},

"members" : [

{

"_id" : 0,

"name" : "172.20.6.10:21000",

"health" : 1,

"state" : 1,

"stateStr" : "PRIMARY",

"uptime" : 221,

"optime" : {

"ts" : Timestamp(1512373328, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2017-12-04T07:42:08Z"),

"infoMessage" : "could not find member to sync from",

"electionTime" : Timestamp(1512373296, 1),

"electionDate" : ISODate("2017-12-04T07:41:36Z"),

"configVersion" : 1,

"self" : true

},

{

"_id" : 1,

"name" : "172.20.6.11:21000",

"health" : 1,

"state" : 2,

"stateStr" : "SECONDARY",

"uptime" : 42,

"optime" : {

"ts" : Timestamp(1512373318, 1),

"t" : NumberLong(1)

},

"optimeDurable" : {

"ts" : Timestamp(1512373318, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2017-12-04T07:41:58Z"),

"optimeDurableDate" : ISODate("2017-12-04T07:41:58Z"),

"lastHeartbeat" : ISODate("2017-12-04T07:42:08.637Z"),

"lastHeartbeatRecv" : ISODate("2017-12-04T07:42:07.648Z"),

"pingMs" : NumberLong(0),

"syncingTo" : "172.20.6.10:21000",

"configVersion" : 1

},

{

"_id" : 2,

"name" : "172.20.6.12:21000",

"health" : 1,

"state" : 2,

"stateStr" : "SECONDARY",

"uptime" : 42,

"optime" : {

"ts" : Timestamp(1512373318, 1),

"t" : NumberLong(1)

},

"optimeDurable" : {

"ts" : Timestamp(1512373318, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2017-12-04T07:41:58Z"),

"optimeDurableDate" : ISODate("2017-12-04T07:41:58Z"),

"lastHeartbeat" : ISODate("2017-12-04T07:42:08.637Z"),

"lastHeartbeatRecv" : ISODate("2017-12-04T07:42:07.642Z"),

"pingMs" : NumberLong(0),

"syncingTo" : "172.20.6.10:21000",

"configVersion" : 1

}

],

"ok" : 1

}

此时 config server 集群已经配置完成， mongodb-1 为 primary ， mongdb-2/mongodb-3 为 secondary

2.2.4 配置 shard 集群

三台服务器均进行 shard 集群配置

shard1 配置

[root@mongodb-1 local]#cat >/data/mongodb/shard1/conf/shard.conf <<EOF

dbpath=/data/mongodb/shard1/data

logpath = /data/mongodb/shard1/log/shard1.log

port = 22001

bind_ip = 0.0.0.0

logappend = true

nohttpinterface = true

fork = true

oplogSize = 4096

journal = true

smallfiles=true

shardsvr=true #shard 服务器

replSet=shard1 # 副本集名称 shard1

EOF

# 启动 shard 服务

[root@mongodb-1 local]#mongod -f /data/mongodb/shard1/conf/shard.conf

查看此时服务已经正常启动， shard1 的 22001 端口已经正常监听，接下来登录 mongodb-1 服务器进行 shard1 副本集初始化

[root@mongodb-1 local]#mongo 192.168.13.150:22001

use admin

config = {_id:"shard1",members:[

{_id:0,host:"192.168.13.150:22001"},

{_id:1,host:"192.168.13.160:22001",arbiterOnly:true},

{_id:2,host:"192.168.13.165:22001"},]

}

rs.initiate(config);

查看集群状态，只列出了部分信息：

{

"_id" : 0,

"name" : "172.20.6.10:22001",

"health" : 1,

"state" : 1,

"stateStr" : "PRIMARY", #mongodb-1 为 primary

"uptime" : 276,

"optime" : {

"ts" : Timestamp(1512373911, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2017-12-04T07:51:51Z"),

"infoMessage" : "could not find member to sync from",

"electionTime" : Timestamp(1512373879, 1),

"electionDate" : ISODate("2017-12-04T07:51:19Z"),

"configVersion" : 1,

"self" : true

},

{

"_id" : 1,

"name" : "172.20.6.11:22001",

"health" : 1,

"state" : 7,

"stateStr" : "ARBITER", #mongodb-2 为 arbiter

"uptime" : 45,

"lastHeartbeat" : ISODate("2017-12-04T07:51:53.597Z"),

"lastHeartbeatRecv" : ISODate("2017-12-04T07:51:51.243Z"),

"pingMs" : NumberLong(0),

"configVersion" : 1

},

{

"_id" : 2,

"name" : "172.20.6.12:22001",

"health" : 1,

"state" : 2,

"stateStr" : "SECONDARY", #mongodb-3 为 secondary

"uptime" : 45,

"optime" : {

"ts" : Timestamp(1512373911, 1),

"t" : NumberLong(1)

}

此时 shard1 副本集已经配置完成， mongodb-1 为 primary ， mongodb-2 为 arbiter ， mongodb-3 为 secondary 。

同样的操作进行 shard2 配置和 shard3 配置

注意：进行 shard2 的副本集初始化，在 mongodb-2 ， 初始化 shard3 副本集在 mongodb-3 上进行操作。

shard2 配置文件

[root@mongodb-1 local]#cat >/data/mongodb/shard2/conf/shard.conf <<EOF

dbpath=/data/mongodb/shard2/data

logpath = /data/mongodb/shard2/log/shard2.log

port = 22002

bind_ip = 0.0.0.0

logappend = true

nohttpinterface = true

fork = true

oplogSize = 4096

journal = true

smallfiles=true

shardsvr=true

replSet=shard2

EOF

[root@mongodb-1 local]#mongod -f /data/mongodb/shard2/conf/shard.conf

shard3 配置文件

[root@mongodb-1 local]#cat >/data/mongodb/shard3/conf/shard.conf <<EOF

dbpath=/data/mongodb/shard3/data

logpath = /data/mongodb/shard3/log/shard3.log

port = 22003

logappend = true

nohttpinterface = true

fork = true

oplogSize = 4096

journal = true

smallfiles=true

shardsvr=true

replSet=shard3

EOF

[root@mongodb-1 local]#mongod -f /data/mongodb/shard3/conf/shard.conf

在 mongodb-2 上进行 shard2 副本集初始化

# 登录 mongodb-2

[root@mongodb-2 local]#mongo 192.168.13.160:22002

use admin

config = {_id:"shard2",members:[

{_id:0,host:"192.168.13.150:22002"},

{_id:1,host:"192.168.13.160:22002"},

{_id:2,host:"192.168.13.165:22002",arbiterOnly:true},]

}

rs.initiate(config);

查看 shard2 副本集状态

{

"_id" : 0,

"name" : "172.20.6.10:22002",

"health" : 1,

"state" : 2,

"stateStr" : "SECONDARY", #mongodb-2 为 secondary

"uptime" : 15,

"optime" : {

"ts" : Timestamp(1512374668, 1),

"t" : NumberLong(1)

},

"optimeDurable" : {

"ts" : Timestamp(1512374668, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2017-12-04T08:04:28Z"),

"optimeDurableDate" : ISODate("2017-12-04T08:04:28Z"),

"lastHeartbeat" : ISODate("2017-12-04T08:04:30.527Z"),

"lastHeartbeatRecv" : ISODate("2017-12-04T08:04:28.492Z"),

"pingMs" : NumberLong(0),

"syncingTo" : "172.20.6.11:22002",

"configVersion" : 1

},

{

"_id" : 1,

"name" : "172.20.6.11:22002",

"health" : 1,

"state" : 1,

"stateStr" : "PRIMARY", #mongodb-2 为 primary

"uptime" : 211,

"optime" : {

"ts" : Timestamp(1512374668, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2017-12-04T08:04:28Z"),

"infoMessage" : "could not find member to sync from",

"electionTime" : Timestamp(1512374666, 1),

"electionDate" : ISODate("2017-12-04T08:04:26Z"),

"configVersion" : 1,

"self" : true

},

{

"_id" : 2,

"name" : "172.20.6.12:22002", #mongodb-3 为 arbiter

"health" : 1,

"state" : 7,

"stateStr" : "ARBITER",

"uptime" : 15,

"lastHeartbeat" : ISODate("2017-12-04T08:04:30.527Z"),

"lastHeartbeatRecv" : ISODate("2017-12-04T08:04:28.384Z"),

"pingMs" : NumberLong(0),

"configVersion" : 1

}

登录 mongodb-3 进行 shard3 副本集初始化

# 登录 mongodb-3

[root@mongodb-3 local]#mongo 192.168.13.165:22003

use admin

config = {_id:"shard3",members:[

{_id:0,host:"192.168.13.150:22003",arbiterOnly:true},

{_id:1,host:"192.168.13.160:22003"},

{_id:2,host:"192.168.13.165:22003"},]

}

rs.initiate(config);

查看 shard3 副本集状态

{

"_id" : 0,

"name" : "172.20.6.10:22003",

"health" : 1,

"state" : 7,

"stateStr" : "ARBITER", #mongodb-1 为 arbiter

"uptime" : 18,

"lastHeartbeat" : ISODate("2017-12-04T08:07:37.488Z"),

"lastHeartbeatRecv" : ISODate("2017-12-04T08:07:36.224Z"),

"pingMs" : NumberLong(0),

"configVersion" : 1

},

{

"_id" : 1,

"name" : "172.20.6.11:22003",

"health" : 1,

"state" : 2,

"stateStr" : "SECONDARY", #mongodb-2 为 secondary

"uptime" : 18,

"optime" : {

"ts" : Timestamp(1512374851, 1),

"t" : NumberLong(1)

},

"optimeDurable" : {

"ts" : Timestamp(1512374851, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2017-12-04T08:07:31Z"),

"optimeDurableDate" : ISODate("2017-12-04T08:07:31Z"),

"lastHeartbeat" : ISODate("2017-12-04T08:07:37.488Z"),

"lastHeartbeatRecv" : ISODate("2017-12-04T08:07:36.297Z"),

"pingMs" : NumberLong(0),

"syncingTo" : "172.20.6.12:22003",

"configVersion" : 1

},

{

"_id" : 2,

"name" : "172.20.6.12:22003",

"health" : 1,

"state" : 1,

"stateStr" : "PRIMARY", #mongodb-3 为 primary

"uptime" : 380,

"optime" : {

"ts" : Timestamp(1512374851, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2017-12-04T08:07:31Z"),

"infoMessage" : "could not find member to sync from",

"electionTime" : Timestamp(1512374849, 1),

"electionDate" : ISODate("2017-12-04T08:07:29Z"),

"configVersion" : 1,

"self" : true

}

此时 shard 集群全部已经配置完毕。

2.2.5 配置路由服务器 mongos

目前三台服务器的配置服务器和分片服务器均已启动，配置三台 mongos 服务器

由于 mongos 服务器的配置是从内存中加载，所以自己没有存在数据目录 configdb 连接为配置服务器集群

[root@mongodb-1 local]#cat >/data/mongodb/mongos/conf/mongos.conf<<EOF

logpath=/data/mongodb/mongos/log/mongos.log

logappend=true

port = 20000

maxConns = 1000

configdb=replconf/192.168.13.150:21000,192.168.13.160:21000,192.168.13.165:21000 # 制定 config server 集群

fork = true

EOF

[root@mongodb-1 local]#mongos -f /data/mongodb/mongos/conf/mongos.conf

目前 config server 集群 /shard 集群 /mongos 服务均已启动，但此时为设置分片，还不能使用分片功能。需要登录 mongos 启用分片

登录任意一台 mongos

[root@mongodb-1 local]#mongo 192.168.13.150:20000

use admin

db.runCommand({addshard:"shard1/192.168.13.150:22001,192.168.13.160:22001,192.168.13.165:22001"})

db.runCommand({addshard:"shard2/192.168.13.150:22002,192.168.13.160:22002,192.168.13.165:22002"})

db.runCommand({addshard:"shard3/192.168.13.150:22003,192.168.13.160:22003,192.168.13.165:22003"})

查看集群

3. 测试一

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，此时进行数据插入，数据能够自动分片。连接在 mongos 上让指定的数据库、指定的集合分片生效。

注意：设置分片需要在 admin 数据库进行

[root@mongodb-1 local]#mongo 192.168.13.150:20000

use admin

db.runCommand( { enablesharding :"kaliarchdb"}); # 开启 kaliarch 库分片功能

db.runCommand( { shardcollection : "kaliarchdb.table1",key : {_id:"hashed"} } ) # 指定数据库里需要分片的集合 tables 和片键 _id

设置 kaliarchdb 的 table1 表需要分片，根据 _id 自动分片到 shard1 ， shard2 ， shard3 上面去。

查看分片信息

测试插入数据

use kaliarchdb;

for (var i = 1; i <= 100000; i++) db.table1.save({_id:i,"test1":"testval1"});

查看分片情况：（省去部分信息）

db.table1.stats()

{

"sharded" : true,

"capped" : false,

"ns" : "kaliarchdb.table1",

"count" : 100000, # 总 count

"size" : 3800000,

"storageSize" : 1335296,

"totalIndexSize" : 4329472,

"indexSizes" : {

"_id_" : 1327104,

"_id_hashed" : 3002368

},

"avgObjSize" : 38,

"nindexes" : 2,

"nchunks" : 6,

"shards" : {

"shard1" : {

"ns" : "kaliarchdb.table1",

"size" : 1282690,

"count" : 33755, #shard1 的 count 数

"avgObjSize" : 38,

"storageSize" : 450560,

"capped" : false,

......

"shard2" : {

"ns" : "kaliarchdb.table1",

"size" : 1259434,

"count" : 33143, #shard2 的 count 数

"avgObjSize" : 38,

"storageSize" : 442368,

"capped" : false,

.......

"shard3" : {

"ns" : "kaliarchdb.table1",

"size" : 1257876,

"count" : 33102, #shard3 的 count 数

"avgObjSize" : 38,

"storageSize" : 442368,

"capped" : false

此时架构中的 mongos ， config server ， shard 集群均已经搭建部署完毕，在实际生产环境需要对前端的 mongos 做高可用来替身整体高可用。

4. 测试二

4.1 查看数据是否已经分片

[root@mongodb-1 local]#mongo 192.168.13.150:20000

use admin

db.runCommand({"enablesharding":"llh"})

db.runCommand({"shardcollection":"llh.person","key":{_id:'hashed'}})

use llh

for(var i=0;i<10;i++){db.person.insert({name:"liulonghui"+i});}

[root@mongodb-1 local]#mongo 192.168.13.150:22001

[root@mongodb-2 local]#mongo 192.168.13.160:22002

[root@mongodb-3 local]#mongo 192.168.13.165:22003

4.2 登录从库服务器，查看主从是否同步

[root@mongodb-3 local]# mongo 192.168.13.165:22001

[root@mongodb-1 local]# mongo 192.168.13.150:22002

[root@mongodb-2 local]# mongo 192.168.13.160:22003

5. 后期运维

5.1 启动关闭

mongodb 的启动顺序是，先启动配置服务器，在启动分片，最后启动 mongos.

mongod -f /data/mongodb/mongoconf/conf/mongoconf.conf

mongod -f /data/mongodb/shard1/conf/shard.conf

mongod -f /data/mongodb/shard2/conf/shard.conf

mongod -f /data/mongodb/shard3/conf/shard.conf

mongos -f /data/mongodb/mongos/conf/mongos.conf

mongod -f /home/wangshumin/mongodb/mongoconf/conf/mongoconf.conf
mongod -f /home/wangshumin/mongodb/shard1/conf/shard.conf
mongod -f /home/wangshumin/mongodb/shard2/conf/shard.conf
mongod -f /home/wangshumin/mongodb/shard3/conf/shard.conf
mongos -f /home/wangshumin/mongodb/mongos/conf/mongos.conf

5.2 关闭时，直接 killall 杀掉所有进程

killall mongod

killall mongos