mongoDB高可用集群环境搭建

2019独角兽企业重金招聘Python工程师标准>>>

在生产环境下，部署一台mongodb服务的话，会存在以下问题：

• 单点问题

    生产环境是一个发杂的环境，在这个过程中会产生很多的问题，发生网络故障，服务器宕机，机房停电等，如果是部署单机服务的话，均会导致服务不可用的问题

• 随着数据量的增加存储空间不足问题

    当我们的业务 数据越来越多，这样单台服务器的硬盘大小已经无法满足业务需求，硬盘容量不可能无限增大，这时候就需要部署多台服务器，分布式部署来应对

• 海量数据访问速度问题

    所有的操作压力都在这台服务器上，导致服务器压力变大，甚至服务死掉，无法再提供服务，需要采用分而治之的策略

• 服务宕机，以及其他未知原因导致数据永久性无法恢复问题

    由于一些特殊的原因，可能导致服务器数据的损坏，由于数据都是比较重要的数据，损坏以后无法恢复是不能接受的，所谓狡兔三窟，这种数据我们一定要有备份，只是采用何种备份策略的问题

 

为了保证服务的高可用，应对数据量的快速增长，出现问题能快速的从错误中恢复，本文接下来就对如何搭建一个高可用的mongodb集群一步一步的做一个详细的说明

一、Mongodb集群中的角色说明

• 路由服务器（mongos）

    对外提供服务，屏蔽后台数据节点，是一个请求分发中心，我们使用的时候只需要连接mongos即可，它会准确的路由到相应的分片上，mongos可以部署多个。

• 配置服务器(config server)

    存储多有的数据库配置，路由，分片信息，mongos本身没有物理存储分片服务器和数据路由信息，只缓存在内存中，配置服务器则可以实际存储这些数据。Mongos第一次启动或者关掉重启就会从config server 中加载配置信息，以后如果配置服务器信息变化，会通知到mongos更新自己的状态，这样mongos就能继续准确的路由。

• 分片(shard)

    一台机器能力是有天花板的，并且数据量比较大的时候所有的请求都会在一台机器上，这样压力太大，1T的数据进行分成4片，每片承担250G，这样压力压力就分散。

• 副本集（repl set）

    为了达到高可用的的目的，数据节点通常都会有备份节点或者副本集（stand by），对于每片构建replicat set副本保证分片的可靠性。生产环境通常采用两个副本加一个仲裁节点。

二、高可用集群搭建

• 确定各个组件的数量

    Mongos 3个，configure server 3个，数据分为3片，数据分片中有两个副本外加一个仲裁节点，也就是副本集中有9个实例，以上所有 3+3+3*3=15个实例。

• 物理机器部署

    由于没有那么多物理机器，实际上也没有必要这么多物理机器来进行部署这些实例，如果把一些实例放到同一台机器上，只需要端口不同即可。我们使用三台物理机，拓扑图如下:

 

 

 

 

 

 

 

 

     以上我们有三台机器，host 和ip分别是m1 192.168.1.140,m2 192.168.1.141,m2 192.168.1.142

    实例及端口分配

    Mongos        端口：27300

    Configure server  端口：27017

    Shard primary    端口：27018

    Shard arbiter    端口：27019

    Shard secondary   端口：27020

    文件夹分配：

    日志地址：/var/log/mongodb/

    配置地址：/etc/mongodb/conf/

    数据地址：/var/lib/mongodb/db/

    在以上文件夹中均建立 27017、27018、27019、27020、27300文件夹，用于存储各个实例的相关文件

            以上文件夹需要在三台服务器上均要创建。

• 服务启动

        1、下载mongodb 3.2.6 压缩文件（可以在mongodb官网直接下载），上传到三台服务器，均解压到/usr/local/mongodb文件夹下

    2、实例配置及启动

    每台机器上均运行

/usr/local/mongodb/bin/mongod --configsvr --dbpath /var/lib/mongodb/db/27017/ --port 27017 --logpath /var/log/mongodb/27017/mongo.log --fork

 

    3、启动mongos

 

    在每台机器上运行

    （要确保其他机器上的端口打开可访访问，在测试环境可以把防火墙关闭了（service iptables stop））

    默认不是后台运行，后台运行需要如下方式

/usr/local/mongodb/bin/mongos --configdb 192.168.1.140:27017,192.168.1.141:27017,192.168.1.142:27017 --port 27300 --logpath /var/log/mongodb/27300/mongos.log  --chunkSize 5  --fork

    4、分片服务器启动

    每台服务器有三个分片 （shard1 ，shard2 ，shard3）

#在服务器m1（192.168.1.40运行）
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27018 --dbpath /var/lib/mongodb/db/27018/ --logpath /var/log/mongodb/27018/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27019 --dbpath /var/lib/mongodb/db/27019/ --logpath /var/log/mongodb/27019/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27020 --dbpath /var/lib/mongodb/db/27020/ --logpath /var/log/mongodb/27020/shard1.log --fork --nojournal --oplogSize 10

#在服务器m1（192.168.1.41运行）
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /var/lib/mongodb/db/27018/ --logpath /var/log/mongodb/27018/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27019 --dbpath /var/lib/mongodb/db/27019/ --logpath /var/log/mongodb/27019/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27020 --dbpath /var/lib/mongodb/db/27020/ --logpath /var/log/mongodb/27020/shard1.log --fork --nojournal --oplogSize 10
 
#在服务器m1（192.168.1.42运行）
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --port 27018 --dbpath /var/lib/mongodb/db/27018/ --logpath /var/log/mongodb/27018/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --port 27019 --dbpath /var/lib/mongodb/db/27019/ --logpath /var/log/mongodb/27019/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --port 27020 --dbpath /var/lib/mongodb/db/27020/ --logpath /var/log/mongodb/27020/shard1.log --fork --nojournal --oplogSize 10

    至此，15个服务全部启动完毕

    5、配置副本集

    设置shard1分片副本集（登录192.168.1.140）

>/usr/local/mongodb/bin/mongo 127.0.0.1:27018

　　#使用admin数据库
　　use admin
　　#定义副本集配置

　　config = { _id:"shard1", members:[
　　{_id:0,host:"192.168.1.140:27018"},
　　{_id:1,host:"192.168.1.140:27019"},
　　{_id:2,host:"192.168.1.140:27020",arbiterOnly:true}
　　]
　　}

　　#初始化副本集配置

　　rs.initiate(config); //只在初始化的时候运行一次

    设置shard2分片副本集(登录192.168.1.141)

>/usr/local/mongodb/bin/mongo 127.0.0.1:27018

　　#使用admin数据库
　　use admin
　　#定义副本集配置

　　config = { _id:"shard2", members:[
　　{_id:0,host:"192.168.1.141:27018"},
　　{_id:1,host:"192.168.1.141:27019"},
　　{_id:2,host:"192.168.1.141:27020",arbiterOnly:true}
　　]
　　}

　　#初始化副本集配置

　　rs.initiate(config); //只在初始化的时候运行一次

    设置shard3的副本集（登录192.168.1.142）

>/usr/local/mongodb/bin/mongo 127.0.0.1:27018

　　#使用admin数据库
　　use admin
　　#定义副本集配置

　　config = { _id:"shard3", members:[
　　{_id:0,host:"192.168.1.142:27018"},
　　{_id:1,host:"192.168.1.142:27019"},
　　{_id:2,host:"192.168.1.142:27020",arbiterOnly:true}
　　]
　　}

　　#初始化副本集配置

　　rs.initiate(config); //只在初始化的时候运行一次

    6、分片

    目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到 mongos 路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。

    进入任意一台mongos ，我进入的是141环境的mongos

/usr/local/mongodb/bin/mongo 192.168.1.141:27300

    进入以后，运行以下命令

db.runCommand( { addshard : "shard1/192.168.1.140:27018,192.168.1.140:27019,192.168.1.140:27020"});
db.runCommand( { addshard : "shard2/192.168.1.141:27018,192.168.1.141:27019,192.168.1.141:27020"});
db.runCommand( { addshard : "shard3/192.168.1.142:27018,192.168.1.142:27019,192.168.1.142:27020"});

    这样就分配好了三个片，可以通过以下方式进行查看

mongos> db.runCommand( { listshards : 1 } );

{
	"shards" : [
		{
			"_id" : "shard1",
			"host" : "shard1/192.168.1.140:27018,192.168.1.140:27019"
		},
		{
			"_id" : "shard2",
			"host" : "shard2/192.168.1.141:27018,192.168.1.141:27019"
		},
		{
			"_id" : "shard3",
			"host" : "shard3/192.168.1.142:27018,192.168.1.142:27019"
		}
	],
	"ok" : 1
}

    7、指定分片数据库和集合片键

    目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，我们期望在实际中指定需要分片的数据库以及数据库的集合采用何种片键来进行自动分配

#指定testdb分片生效
db.runCommand( { enablesharding :"clusterDB"});
#指定数据库里需要分片的集合和片键
db.runCommand( { shardcollection : "clusterDB.testcol",key : {id: 1} } )

    8、测试

    我们设置clusterDB的 testcol集合需要分片，根据 id 自动分片到 shard1 ，shard2，shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表 都需要分片!

for (var i = 1; i <= 10000; i++)db. testcol .save({id:i,"testkey":"testval"});

#插入完成以后，可以运行以下命令，看看具体的分片信息
db.table1.stats();

 

    至此，一个高可用的mongodb集群就搭建起来了，文章比较长，有些也比较啰嗦，看到这个地方，感谢你的耐心，不过我相信你只要你跟着上面一步一步来做的话，自己也能搭建起来了一个强大的mongodb集群。

不过………… 这个集群里面还是缺了一个重要的步骤的，那就是认证，现在如果我们的集群是放在外网环境上的，那么任何人都能访问到我们的数据，接下来这篇文章《 mongodb 高可用集群搭建-认证 》，我们尝试把这个集群更改为带安全校验的。如果需要的话，请尽情点击。

 

转载于:https://my.oschina.net/u/2457218/blog/709657