MongoDB集群配置

最新推荐文章于 2024-03-26 05:00:08 发布
最新推荐文章于 2024-03-26 05:00:08 发布
阅读量821 收藏 1
点赞数
分类专栏： 技术
原文链接：https://www.colorgg.com
版权

1 MongoDB 分片（高可用）

1.1 准备工作

  • 三台虚拟机
  • 安装MongoDB
  • 虚拟机相互之间可以相互通信
  • 虚拟机与主机之间可以相互通信

1.2 安装MongoDB

在Ubuntu16.04 中安装 MongoDB 。参考步骤MongoDB官方网站

  • 安装时会报错

    E: The method driver /usr/lib/apt/methods/https could not be found.
N: Is the package apt-transport-https installed?

    提示需要安装apt-transport-https

    sudo apt-get install -y apt-transport-https

1.3 启动MongoDB

sudo service mongod start

检查是否启动成功

sudo cat /var/log/mongodb/mongod.log

2019-04-19T15:40:52.808+0800 I NETWORK [initandlisten] waiting for connections on port 27017

2 MongoDB 分片

分片（sharding）是将数据拆分，将其分散存到不同机器上的过程。MongoDB 支持自动分片，可以使数据库架构对应用程序不可见。对于应用程序来说，好像始终在使用一个单机的 MongoDB 服务器一样，另一方面，MongoDB 自动处理数据在分片上的分布，也更容易添加和删除分片。类似于MySQL中的分库。

2.1 基础组件

其利用到了四个组件：mongos，config server，shard，replica set

mongos：数据库集群请求的入口，所有请求需要经过mongos进行协调，无需在应用层面利用程序来进行路由选择，mongos其自身是一个请求分发中心，负责将外部的请求分发到对应的shard服务器上，mongos作为统一的请求入口，为防止mongos单节点故障，一般需要对其做HA。可以理解为在微服务架构中的路由Eureka。

config server：配置服务器，存储所有数据库元数据（分片，路由）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是存缓存在内存中来读取数据，mongos在第一次启动或后期重启时候，就会从config server中加载配置信息，如果配置服务器信息发生更新会通知所有的mongos来更新自己的状态，从而保证准确的请求路由，生产环境中通常也需要多个config server，防止配置文件存在单节点丢失问题。理解为 配置中心

shard：在传统意义上来讲，如果存在海量数据，单台服务器存储1T压力非常大，无论考虑数据库的硬盘，网络IO，又有CPU，内存的瓶颈，如果多台进行分摊1T的数据，到每台上就是可估量的较小数据，在mongodb集群只要设置好分片规则，通过mongos操作数据库，就可以自动把对应的操作请求转发到对应的后端分片服务器上。真正的存储

replica set：在总体mongodb集群架构中，对应的分片节点，如果单台机器下线，对应整个集群的数据就会出现部分缺失，这是不能发生的，因此对于shard节点需要replica set来保证数据的可靠性，生产环境通常为2个副本+1个仲裁。 副本保持数据的HA

2.2 架构图

img

3 安装部署

为了节省服务器，采用多实例配置，三个mongos，三个config server，单个服务器上面运行不通角色的shard（为了后期数据分片均匀，将三台shard在各个服务器上充当不同的角色。），在一个节点内采用replica set保证高可用，对应主机与端口信息如下：

主机名IP地址组件mongos组件config servershard
主节点： 22001
mongodb-1192.168.90.130端口：20000端口：21000副本节点：22002
仲裁节点：22003
主节点： 22002
mongodb-2192.168.90.131端口：20000端口：21000副本节点：22001
仲裁节点：22003
主节点： 22003
mongodb-3192.168.90.132端口：20000端口：21000副本节点：22001
仲裁节点：22002

架构

3.1 部署配置服务器集群

3.1.1 先创建对应的文件夹

mkdir -p /usr/local/mongo/mongoconf/{data,log,config}
touch mongoconfg.conf
touch mongoconf.log

3.1.2 填写对应的配置文件

# mongod.conf

# for documentation of all options, see:
#   http://docs.mongodb.org/manual/reference/configuration-options/

# Where and how to store data.
storage:
  dbPath: /usr/local/mongo/mongoconf/data
  journal:
    enabled: true
    commitIntervalMs: 200
#  engine:
#  mmapv1:
#  wiredTiger:

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /usr/local/mongo/mongoconf/log/mongoconf.log

# network interfaces
net:
  port: 21000
  bindIp: 0.0.0.0
  maxIncomingConnections: 1000

# how the process runs
processManagement:
  fork: true
#security:


#operationProfiling:

#replication:

replication:
  replSetName: replconf

#sharding:
sharding:
  clusterRole: configsvr
## Enterprise-Only Options:

#auditLog:

#snmp:

配置集群需要指定 data ，log ，以及对应的sharding角色

3.1.3 启动config集群

在三台机器上都配置好对应的文件后可以启动config集群

mogod -f /usr/local/mongo/mongoconf/conf/mongoconf.conf

3.1.4 副本初始化操作

进入任意一台机器(130为例)，做集群副本初始化操作

mongo 192.168.90.130

config = {
    _id:"replconf"
    members:[
    	{_id:0,host:"192.168.90.130:21000"}
		{_id:0,host:"192.168.90.131:21000"}
		{_id:0,host:"192.168.90.132:21000"}
    ]
    
}
rs.initiate(config)

//查看集群状态
rs.status()

返回结果如下

{
	"set" : "replconf",
	"date" : ISODate("2019-04-21T06:38:50.164Z"),
	"myState" : 2,
	"term" : NumberLong(3),
	"syncingTo" : "192.168.90.131:21000",
	"syncSourceHost" : "192.168.90.131:21000",
	...
	"members" : [
		{
			"_id" : 0,
			"name" : "192.168.90.130:21000",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 305,
			"optime" : {
				"ts" : Timestamp(1555828718, 1),
				"t" : NumberLong(3)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1555828718, 1),
				"t" : NumberLong(3)
			},
			"optimeDate" : ISODate("2019-04-21T06:38:38Z"),
			"optimeDurableDate" : ISODate("2019-04-21T06:38:38Z"),
			"lastHeartbeat" : ISODate("2019-04-21T06:38:49.409Z"),
			"lastHeartbeatRecv" : ISODate("2019-04-21T06:38:49.408Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "192.168.90.131:21000",
			"syncSourceHost" : "192.168.90.131:21000",
			"syncSourceId" : 1,
			"infoMessage" : "",
			"configVersion" : 1
		},
		{
			"_id" : 1,
			"name" : "192.168.90.131:21000",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 307,
			"optime" : {
				"ts" : Timestamp(1555828718, 1),
				"t" : NumberLong(3)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1555828718, 1),
				"t" : NumberLong(3)
			},
			"optimeDate" : ISODate("2019-04-21T06:38:38Z"),
			"optimeDurableDate" : ISODate("2019-04-21T06:38:38Z"),
			"lastHeartbeat" : ISODate("2019-04-21T06:38:49.380Z"),
			"lastHeartbeatRecv" : ISODate("2019-04-21T06:38:49.635Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "",
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "",
			"electionTime" : Timestamp(1555828429, 1),
			"electionDate" : ISODate("2019-04-21T06:33:49Z"),
			"configVersion" : 1
		},
		{
			"_id" : 2,
			"name" : "192.168.90.132:21000",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 319,
			"optime" : {
				"ts" : Timestamp(1555828718, 1),
				"t" : NumberLong(3)
			},
			"optimeDate" : ISODate("2019-04-21T06:38:38Z"),
			"syncingTo" : "192.168.90.131:21000",
			"syncSourceHost" : "192.168.90.131:21000",
			"syncSourceId" : 1,
			"infoMessage" : "",
			"configVersion" : 1,
			"self" : true,
			"lastHeartbeatMessage" : ""
		}
	],
	"ok" : 1,
	...
}

可以看出config集群部署成功，且通过选举机制选定131为primary节点。

3.2 部署Shard分片集群

3.2.1 分别对三片数据存储创建对应的文件夹

mkdir -p shard1/{data,conf,log}
mkdir -p shard2/{data,conf,log}
mkdir -p shard3/{data,conf,log}

touch shard1/log/shard1.log
touch shard2/log/shard2.log
touch shard3/log/shard3.log

3.2.2 创建对应的配置文件

# mongod.conf

# for documentation of all options, see:
#   http://docs.mongodb.org/manual/reference/configuration-options/

# Where and how to store data.
storage:
  dbPath: /usr/local/mongo/shard1/data
  journal:
    enabled: true
    commitIntervalMs: 200
  mmapv1:
    smallFiles: true
#  wiredTiger:

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /usr/local/mongo/shard1/log/shard1.log

# network interfaces
net:
  port: 22001
  bindIp: 0.0.0.0
  maxIncomingConnections: 1000

# how the process runs
processManagement:
  fork: true
#security:


#operationProfiling:

#replication:
replication:
  replSetName: shard1
  oplogSizeMB: 4096
#sharding:
sharding:
  clusterRole: shardsvr
## Enterprise-Only Options:

#auditLog:

#snmp:

分别建立shard1，shard2,shard3 的配置文件

3.2.3 启动对应的shard

 mongod -f /usr/local/mongo/shard1/conf/shard1.conf 
 mongod -f /usr/local/mongo/shard2/conf/shard2.conf 
 mongod -f /usr/local/mongo/shard3/conf/shard3.conf

使用

netstat -lntup

来查看进程

Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22001           0.0.0.0:*               LISTEN      1891/mongod     
tcp        0      0 0.0.0.0:22002           0.0.0.0:*               LISTEN      1974/mongod     
tcp        0      0 0.0.0.0:22003           0.0.0.0:*               LISTEN      2026/mongod     
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -               
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      -               
tcp        0      0 0.0.0.0:21000           0.0.0.0:*               LISTEN      1779/mongod

发现进程全部启动

3.2.4 指定对应shard集群的副本

在130 上登录

mongo 192.168.90.130:22001

指定集群以及对应的arbiter节点

config = {
    _id:"shard1",
    members:[
        {_id:0,host:"192.168.90.130:22001"},
        {_id:1,host:"192.168.90.131:22001"},
        {_id:2,host:"192.168.90.132:22001",arbiterOnly:true}
    ]   
}
rs.initate(config)
rs.status()

在131,132 节点登录，哪一个节点初始化 即哪一个节点第一次优先作为primary节点

config = {
    _id:"shard2",
    members:[
        {_id:0,host:"192.168.90.130:22002",arbiterOnly:true},
        {_id:1,host:"192.168.90.131:22002"},
        {_id:2,host:"192.168.90.132:22002"}
    ]   
}
rs.initate(config)
rs.status()

config = {
    _id:"shard3",
    members:[
        {_id:0,host:"192.168.90.130:22001"},
        {_id:1,host:"192.168.90.131:22001",arbiterOnly:true},
        {_id:2,host:"192.168.90.132:22001"}
    ]   
}
rs.initate(config)
rs.status()

3.3 配置mongos路由集群

3.3.1 创建对应文件

mkdir -p ./mongos/{config,log}

因为mongos不需要存储数据或者元数据信息，只负责处理请求分发，当启动时到config集群中取得元数据信息加载到内存使用。

3.3.2 配置文件

# mongod.conf

# for documentation of all options, see:
#   http://docs.mongodb.org/manual/reference/configuration-options/

# Where and how to store data.
#  engine:
#  mmapv1:
#  wiredTiger:

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /usr/local/mongo/mongos/log/mongos.log

# network interfaces
net:
  port: 20000
  bindIp: 0.0.0.0
  maxIncomingConnections: 1000

# how the process runs
processManagement:
  fork: true
sharding:
  configDB: replconf/mongo0:21000,mongo1:21000,mongo2:21000
## Enterprise-Only Options:


#auditLog:

3.3.3 启动mongos

mongos -f /usr/local/mongo/mongos/conf/mongos.conf

查看集群启动情况

Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22001           0.0.0.0:*               LISTEN      1891/mongod     
tcp        0      0 0.0.0.0:22002           0.0.0.0:*               LISTEN      1974/mongod     
tcp        0      0 0.0.0.0:22003           0.0.0.0:*               LISTEN      2026/mongod     
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -               
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      -               
tcp        0      0 0.0.0.0:20000           0.0.0.0:*               LISTEN      2174/mongos     
tcp        0      0 0.0.0.0:21000           0.0.0.0:*               LISTEN      1779/mongod

3.3.4 在admin表中填写shard分片信息

登录任意一台mongos，在admin表中加入信息

use admin

db.runCommand(
	{
    	addShard:"shard1/192.168.90.130:22001,192.168.90.131:22001,192.168.90.132:22001"
    }
)

db.runCommand(
	{
    	addShard:"shard2/192.168.90.130:22002,192.168.90.131:22002,192.168.90.132:22002"
    }
)
db.runCommand(
	{
    	addShard:"shard3/192.168.90.130:22003,192.168.90.131:22003,192.168.90.132:22003"
    }
)

sh.status()

返回信息:

--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("5cba82d33290d8f4fb3ac8f7")
  }
  shards:
        {  "_id" : "shard1",  "host" : "shard1/192.168.90.130:22001,192.168.90.132:22001",  "state" : 1 }
        {  "_id" : "shard2",  "host" : "shard2/192.168.90.130:22002,192.168.90.131:22002",  "state" : 1 }
        {  "_id" : "shard3",  "host" : "shard3/192.168.90.131:22003,192.168.90.132:22003",  "state" : 1 }
  active mongoses:
....

3.3.5 给对应的表进行分片

use admin
db.runCommand({
	shardCollection:"lishubindb.table1",key:{_id:"hashed"}
})
db.runCommand({
	listshards:1
})

3.4 测试

加入10W条数据到table1集合中

use lishubindb
for(var i=0;i<100000;i++){
	db.table1.insert({
		"name":"lishubin"+i,"num":i
	})
}

观察分片情况

db.table1.status()

	"ns" : "lishubindb.table1",
	"count" : 100000,
	"size" : 5888890,
	"storageSize" : 2072576,
	"totalIndexSize" : 4694016,
	"indexSizes" : {
		"_id_" : 1060864,
		"_id_hashed" : 3633152
	},
	"avgObjSize" : 58,
	"maxSize" : NumberLong(0),
	"nindexes" : 2,
	"nchunks" : 6,
	"shards" : {
		"shard3" : {
			"ns" : "lishubindb.table1",
			"size" : 1969256,
			"count" : 33440,
			"avgObjSize" : 58,
			"storageSize" : 712704,
			"capped" : false,
			...
		},
		"shard2" : {
			"ns" : "lishubindb.table1",
			"size" : 1973048,
			"count" : 33505,
			"avgObjSize" : 58,
			"storageSize" : 708608,
			"capped" : false,
			...
		},
		"shard1" : {
			"ns" : "lishubindb.table1",
			"size" : 1946586,
			"count" : 33055,
			"avgObjSize" : 58,
			"storageSize" : 651264,
			"capped" : false,
			...
		},

4 参考文献

zhoumouren88
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mongodb集群配置文档
05-11
MongoDB集群管理（三）
沉浸式Study
06-25 1433
随着业务数据和并发量的增加，若只使用一台MongoDB服务器，存在着断电和数据风险的问题，故采用Mongodb复制集的方式，来提高项目的高可用、安全性等性能。MongoDB复制是将数据同步到多个服务器的过程。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。复制还允许从硬件故障和服务中断中恢复数据。使用集群的目的就是提高可用性。
Mongodb集群配置
weixin_61148409的博客
10-24 901
Mongodb主从
Mongodb集群搭建的三种方式
最新发布
2401_83817148的博客
03-26 867
每年转战互联网行业的人很多，说白了也是冲着高薪去的，不管你是即将步入这个行业还是想转行，学习是必不可少的。作为一个Java开发，学习成了日常生活的一部分，不学习你就会被这个行业淘汰，这也是这个行业残酷的现实。如果你对Java感兴趣，想要转行改变自己，那就要趁着机遇行动起来。或许，这份限量版的Java零基础宝典能够对你有所帮助。ava开发，学习成了日常生活的一部分，不学习你就会被这个行业淘汰，这也是这个行业残酷的现实。如果你对Java感兴趣，想要转行改变自己，那就要趁着机遇行动起来。或许，这份。
实战：MongoDB 分片集群Shard Cluster 搭建（1台路由节点，3台配置节点，9台分片节点）
chuanchengdabing的博客
09-25 3480
MongoDB 分片集群搭建 一、搭建要求 一台路由节点 IP地址：192.168.80.110 端口：11111 三套复制集（每个分片节点中的复制集 都需要有仲裁节点） IP地址： 192.168.80.55 ， 端口：15555/15556/15557 IP地址： 192.168.80.56 ， 端口：15555/15556/15557 IP地址： 192.168.80.57 ， 端口：15555/15556/15557 一
手把手教你搭建MongoDB分片式部署集群+实战
Executing_的博客
11-17 3472
MongoDB分片式集群部署实战，构建一个MongoDB的分片集群，需要三个重要组件，分别是分片服务器（Shard Server）、配置服务器（Config Server）、路由服务器（Router Server）。
【超详细】手把手教你搭建MongoDB集群搭建
热门推荐
博学谷狂野架构师的博客
07-14 1万+
​ 为解决mongodb在replica set每个从节点上面的数据库均是对数据库的全量拷贝，从节点压力在高并发大数据量的场景下存在很大挑战，同时考虑到后期mongodb集群的在数据压力巨大时的扩展性，应对海量数据引出了分片机制。​ 分片是将数据库进行拆分，将其分散在不同的机器上的过程，无需功能强大的服务器就可以存储更多的数据，处理更大的负载，在总数据中，将集合切成小块，将这些块分散到若干片中，每个片只负载总数据的一部分，通过一个知道数据与分片对应关系的组件mongos的路由进程进行操作。​ 数据库集
mongodb集群配置讲义.zip
08-30
mongoDB集群的基本配置以及操作案例
mongodb集群配置.txt
01-13
执行成功后，出现如下信息 { "ok" : 1 } priority表示优先级别，数值越大，表示是主节点 arbiterOnly:true表示仲裁节点 ...可以执行rs.status()来检查执行配置结果信息，如果执行成功，会出现如下信息
MongoDB 集群配置
快乐的小三菊的博客
10-12 463
mongoDB 集群配置
玩转MongoDB—搭建MongoDB集群
做兴趣使然的Hero
07-01 2128
如题，本次玩转MongoDB我们从搭建集群开始，话说MongoDB一共有三种搭建集群的方式，但是由于版本更新，据说在4.0版本之后第一种方式，也就是主从复制的方式被遗弃掉了，大概是因为这种方式的效率不高吧，因为目前我们使用的是5.x版本，因此就不花时间讲解第一种方式了，在其他的文章上摘录了一下，可供大家参考。...
Mongodb集群搭建
失之东隅的博客
02-10 4055
mongodb集群搭建...
mongodb 集群配置
my_bai的博客
05-25 2641
环境准备系统系统 centos6.5三台服务器：192.168.0.75/84/86安装包： mongodb-linux-x86_64-3.4.6.tgz服务器规划服务器75服务器84服务器86mongosmongosmongosconfig serverconfig serverconfig servershard server1 主节点shard server1 副节点shard server...
硬卷 NoSQL 数据库系列（八）：MongoDB 集群部署与配置实践
民工哥的博客
05-12 840
点关注公众号，回复“1024”获取2TB学习资源！前面介绍了 WT 存储引擎、复制集等相关的知识点。今天我将详细的为大家介绍 MongoDB 集群原理以及维护配置相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！MongoDB副本集介绍MongoDB 的副本集就是主从复制，由于之前3.0版本之前就有主从复制的说法，后来更新迭代，起名叫副本集。副本集建议最少3台机器，一个主及...
MongoDB学习笔记（三）-----集群架构
Rex_lic博客
06-21 664
相关概念 在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。 mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。 config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理
虚拟机下搭建mongodb集群
yelang_110的专栏
07-25 1767
linux下搭建mongodb集群 检查三台的mongodb配置是不是完整 准备三台linux服务器，关闭防火墙，设置时间一样 三台服务器IP分别是       server A     172.16.0.240       server B     172.16.0.241       server C     172.16.0.242 1,创建数据目录  在bin目录下 首先要创建Shard
springboot mongodb集群配置
04-30
虽然 Spring Boot 和 MongoDB 都是分布式应用的常用技术，但是在配置 MongoDB 集群时，需要注意一些细节。 首先，在搭建 MongoDB 集群时，需要确保所有节点的配置文件相同。配置文件的内容和 MongoDB 的运行模式...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值