MongoDB 4.2分片集群搭建

最新推荐文章于 2023-06-28 12:27:11 发布
最新推荐文章于 2023-06-28 12:27:11 发布
阅读量335 收藏 1
点赞数
文章标签： mongodb zookeeper hadoop 运维 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aa5181/article/details/115513805
版权

项目环境： 

CentOS 7.5

MongoDB 4.2.12

一、分片集群规划

IP：172.16.254.136                       172.16.254.137                             172.16.254.138

mongos(30000)                             mongos(30000)                            mongos(30000)

config(27017)                                config(27017)                               config(27017)

shard1主节点(40001)                     shard1副节点(40001)                    shard1仲裁节点(40001)

shard2仲裁节点(40002)                  shard2主节点(40002)                    shard2副节点(40002)

shard3副节点(40003)                     shard3仲裁节点(40003)                 shard3主节点(40003)

二、创建目录

su - mongodb
mkdir -p /mongodb
mkdir -p /mongodb/{data,logs,apps}
mkdir -p /mongodb/data/shard{1,2,3}
mkdir -p /mongodb/data/config
/usr/sbin/groupadd -g 10001 mongodb
/usr/sbin/useradd -u 10001 -g mongodb mongodb
id mongodb
passwd mongodb
chown -R mongodb:mongodb /mongodb
chmod -R 775 /mongodb

三、部署config服务器

三台机器都部署

/mongodb/conf/mongodb-config.conf

dbpath=/mongodb/data/config
logpath=/mongodb/logs/mongodb-config.log
port=27017
fork=true
journal = true
maxConns=500
logappend=true
pidfilepath=/mongodb/apps/mongo-config.pid
directoryperdb=true
replSet=mongodb99
configsvr = true
bind_ip=0.0.0.0

启动config实例(三台机器)

mongod -f /mongodb/conf/mongodb-config.conf

创建副本集 

rs.initiate({_id:"mongodb99",members:[
{_id:0,host:"172.16.254.136:27017"},
{_id:1,host:"172.16.254.137:27017"},
{_id:2,host:"172.16.254.138:27017"}
]})

检查config副本集信息 

mongodb99:PRIMARY> rs.status()
{
	"set" : "mongodb99",
	"date" : ISODate("2021-03-19T07:17:58.639Z"),
	"myState" : 1,
	"term" : NumberLong(1),
	"syncingTo" : "",
	"syncSourceHost" : "",
	"syncSourceId" : -1,
	"configsvr" : true,
	"heartbeatIntervalMillis" : NumberLong(2000),
	"majorityVoteCount" : 2,
	"writeMajorityCount" : 2,
	"optimes" : {
		"lastCommittedOpTime" : {
			"ts" : Timestamp(1616138277, 1),
			"t" : NumberLong(1)
		},
		"lastCommittedWallTime" : ISODate("2021-03-19T07:17:57.051Z"),
		"readConcernMajorityOpTime" : {
			"ts" : Timestamp(1616138277, 1),
			"t" : NumberLong(1)
		},
		"readConcernMajorityWallTime" : ISODate("2021-03-19T07:17:57.051Z"),
		"appliedOpTime" : {
			"ts" : Timestamp(1616138277, 1),
			"t" : NumberLong(1)
		},
		"durableOpTime" : {
			"ts" : Timestamp(1616138277, 1),
			"t" : NumberLong(1)
		},
		"lastAppliedWallTime" : ISODate("2021-03-19T07:17:57.051Z"),
		"lastDurableWallTime" : ISODate("2021-03-19T07:17:57.051Z")
	},
	"lastStableRecoveryTimestamp" : Timestamp(1616138263, 3),
	"lastStableCheckpointTimestamp" : Timestamp(1616138263, 3),
	"electionCandidateMetrics" : {
		"lastElectionReason" : "electionTimeout",
		"lastElectionDate" : ISODate("2021-03-19T07:17:43.126Z"),
		"electionTerm" : NumberLong(1),
		"lastCommittedOpTimeAtElection" : {
			"ts" : Timestamp(0, 0),
			"t" : NumberLong(-1)
		},
		"lastSeenOpTimeAtElection" : {
			"ts" : Timestamp(1616138252, 1),
			"t" : NumberLong(-1)
		},
		"numVotesNeeded" : 2,
		"priorityAtElection" : 1,
		"electionTimeoutMillis" : NumberLong(10000),
		"numCatchUpOps" : NumberLong(0),
		"newTermStartDate" : ISODate("2021-03-19T07:17:43.165Z"),
		"wMajorityWriteAvailabilityDate" : ISODate("2021-03-19T07:17:44.352Z")
	},
	"members" : [
		{
			"_id" : 0,
			"name" : "172.16.254.136:27017",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 843,
			"optime" : {
				"ts" : Timestamp(1616138277, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-03-19T07:17:57Z"),
			"syncingTo" : "",
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "could not find member to sync from",
			"electionTime" : Timestamp(1616138263, 1),
			"electionDate" : ISODate("2021-03-19T07:17:43Z"),
			"configVersion" : 1,
			"self" : true,
			"lastHeartbeatMessage" : ""
		},
		{
			"_id" : 1,
			"name" : "172.16.254.137:27017",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 25,
			"optime" : {
				"ts" : Timestamp(1616138277, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1616138277, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-03-19T07:17:57Z"),
			"optimeDurableDate" : ISODate("2021-03-19T07:17:57Z"),
			"lastHeartbeat" : ISODate("2021-03-19T07:17:57.201Z"),
			"lastHeartbeatRecv" : ISODate("2021-03-19T07:17:58.527Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "172.16.254.136:27017",
			"syncSourceHost" : "172.16.254.136:27017",
			"syncSourceId" : 0,
			"infoMessage" : "",
			"configVersion" : 1
		},
		{
			"_id" : 2,
			"name" : "172.16.254.138:27017",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 25,
			"optime" : {
				"ts" : Timestamp(1616138277, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1616138277, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-03-19T07:17:57Z"),
			"optimeDurableDate" : ISODate("2021-03-19T07:17:57Z"),
			"lastHeartbeat" : ISODate("2021-03-19T07:17:57.201Z"),
			"lastHeartbeatRecv" : ISODate("2021-03-19T07:17:58.527Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "172.16.254.136:27017",
			"syncSourceHost" : "172.16.254.136:27017",
			"syncSourceId" : 0,
			"infoMessage" : "",
			"configVersion" : 1
		}
	],
	"ok" : 1,
	"$gleStats" : {
		"lastOpTime" : Timestamp(1616138252, 1),
		"electionId" : ObjectId("7fffffff0000000000000001")
	},
	"lastCommittedOpTime" : Timestamp(1616138277, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1616138277, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1616138277, 1)
}

四、部署shard1分片服务器

参数文件，三台机器都需要配置

/mongodb/conf/mongodb-shard1.conf

dbpath=/mongodb/data/shard1
logpath=/mongodb/logs/mongodb-shard1.log
port=40001
fork=true
#auth=true
#noauth=true
#verbose=true
#vvvv=true
journal = true
maxConns=5000
logappend=true
pidfilepath=/mongodb/apps/mongo-shard1.pid
#cpu=true
directoryperdb=true
#nohttpinterface=false
#notablescan=false
#profile=0
#slowms=200
#quiet=true
#syncdelay=60
replSet=hdshard1
bind_ip=0.0.0.0
shardsvr = true

启动服务(三台机器)

mongod -f /mongodb/conf/mongodb-shard1.conf

设定副本集成员 

rs.initiate({_id:"hdshard1",members:[
{_id:0,host:"172.16.254.136:40001",priority:2},
{_id:1,host:"172.16.254.137:40001",priority:1},
{_id:2,host:"172.16.254.138:40001",arbiterOnly:true}
]})

查看副本集信息 

hdshard1:PRIMARY> rs.status()
{
	"set" : "hdshard1",
	"date" : ISODate("2021-03-19T08:43:12.244Z"),
	"myState" : 1,
	"term" : NumberLong(1),
	"syncingTo" : "",
	"syncSourceHost" : "",
	"syncSourceId" : -1,
	"heartbeatIntervalMillis" : NumberLong(2000),
	"majorityVoteCount" : 2,
	"writeMajorityCount" : 2,
	"optimes" : {
		"lastCommittedOpTime" : {
			"ts" : Timestamp(1616143383, 3),
			"t" : NumberLong(1)
		},
		"lastCommittedWallTime" : ISODate("2021-03-19T08:43:03.255Z"),
		"readConcernMajorityOpTime" : {
			"ts" : Timestamp(1616143383, 3),
			"t" : NumberLong(1)
		},
		"readConcernMajorityWallTime" : ISODate("2021-03-19T08:43:03.255Z"),
		"appliedOpTime" : {
			"ts" : Timestamp(1616143383, 3),
			"t" : NumberLong(1)
		},
		"durableOpTime" : {
			"ts" : Timestamp(1616143383, 3),
			"t" : NumberLong(1)
		},
		"lastAppliedWallTime" : ISODate("2021-03-19T08:43:03.255Z"),
		"lastDurableWallTime" : ISODate("2021-03-19T08:43:03.255Z")
	},
	"lastStableRecoveryTimestamp" : Timestamp(1616143383, 3),
	"lastStableCheckpointTimestamp" : Timestamp(1616143383, 3),
	"electionCandidateMetrics" : {
		"lastElectionReason" : "electionTimeout",
		"lastElectionDate" : ISODate("2021-03-19T08:43:03.187Z"),
		"electionTerm" : NumberLong(1),
		"lastCommittedOpTimeAtElection" : {
			"ts" : Timestamp(0, 0),
			"t" : NumberLong(-1)
		},
		"lastSeenOpTimeAtElection" : {
			"ts" : Timestamp(1616143372, 1),
			"t" : NumberLong(-1)
		},
		"numVotesNeeded" : 2,
		"priorityAtElection" : 2,
		"electionTimeoutMillis" : NumberLong(10000),
		"numCatchUpOps" : NumberLong(0),
		"newTermStartDate" : ISODate("2021-03-19T08:43:03.255Z"),
		"wMajorityWriteAvailabilityDate" : ISODate("2021-03-19T08:43:04.069Z")
	},
	"members" : [
		{
			"_id" : 0,
			"name" : "172.16.254.136:40001",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 3286,
			"optime" : {
				"ts" : Timestamp(1616143383, 3),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-03-19T08:43:03Z"),
			"syncingTo" : "",
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "could not find member to sync from",
			"electionTime" : Timestamp(1616143383, 1),
			"electionDate" : ISODate("2021-03-19T08:43:03Z"),
			"configVersion" : 1,
			"self" : true,
			"lastHeartbeatMessage" : ""
		},
		{
			"_id" : 1,
			"name" : "172.16.254.137:40001",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 20,
			"optime" : {
				"ts" : Timestamp(1616143383, 3),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1616143383, 3),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-03-19T08:43:03Z"),
			"optimeDurableDate" : ISODate("2021-03-19T08:43:03Z"),
			"lastHeartbeat" : ISODate("2021-03-19T08:43:11.294Z"),
			"lastHeartbeatRecv" : ISODate("2021-03-19T08:43:12.127Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "172.16.254.136:40001",
			"syncSourceHost" : "172.16.254.136:40001",
			"syncSourceId" : 0,
			"infoMessage" : "",
			"configVersion" : 1
		},
		{
			"_id" : 2,
			"name" : "172.16.254.138:40001",
			"health" : 1,
			"state" : 7,
			"stateStr" : "ARBITER",
			"uptime" : 20,
			"lastHeartbeat" : ISODate("2021-03-19T08:43:11.294Z"),
			"lastHeartbeatRecv" : ISODate("2021-03-19T08:43:10.512Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "",
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "",
			"configVersion" : 1
		}
	],
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1616143383, 3),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1616143383, 3)
}

五、部署shard2分片服务器

参数文件，三台机器都需要配置

/mongodb/conf/mongodb-shard2.conf

dbpath=/mongodb/data/shard2
logpath=/mongodb/logs/mongodb-shard2.log
port=40002
fork=true
#auth=true
#noauth=true
#verbose=true
#vvvv=true
journal = true
maxConns=5000
logappend=true
pidfilepath=/mongodb/apps/mongo-shard2.pid
#cpu=true
directoryperdb=true
#nohttpinterface=false
#notablescan=false
#profile=0
#slowms=200
#quiet=true
#syncdelay=60
replSet=hdshard2
bind_ip=0.0.0.0
shardsvr = true

启动服务(三台机器)

mongod -f /mongodb/conf/mongodb-shard2.conf

设置副本集成员

rs.initiate({_id:"hdshard2",members:[
{_id:0,host:"172.16.254.136:40002",arbiterOnly:true},
{_id:1,host:"172.16.254.137:40002",priority:2},
{_id:2,host:"172.16.254.138:40002",priority:1}
]})

查看副本集信息

hdshard2:PRIMARY> rs.status()
{
	"set" : "hdshard2",
	"date" : ISODate("2021-03-19T09:11:49.553Z"),
	"myState" : 1,
	"term" : NumberLong(1),
	"syncingTo" : "",
	"syncSourceHost" : "",
	"syncSourceId" : -1,
	"heartbeatIntervalMillis" : NumberLong(2000),
	"majorityVoteCount" : 2,
	"writeMajorityCount" : 2,
	"optimes" : {
		"lastCommittedOpTime" : {
			"ts" : Timestamp(1616145102, 3),
			"t" : NumberLong(1)
		},
		"lastCommittedWallTime" : ISODate("2021-03-19T09:11:42.844Z"),
		"readConcernMajorityOpTime" : {
			"ts" : Timestamp(1616145102, 3),
			"t" : NumberLong(1)
		},
		"readConcernMajorityWallTime" : ISODate("2021-03-19T09:11:42.844Z"),
		"appliedOpTime" : {
			"ts" : Timestamp(1616145102, 3),
			"t" : NumberLong(1)
		},
		"durableOpTime" : {
			"ts" : Timestamp(1616145102, 3),
			"t" : NumberLong(1)
		},
		"lastAppliedWallTime" : ISODate("2021-03-19T09:11:42.844Z"),
		"lastDurableWallTime" : ISODate("2021-03-19T09:11:42.844Z")
	},
	"lastStableRecoveryTimestamp" : Timestamp(1616145102, 3),
	"lastStableCheckpointTimestamp" : Timestamp(1616145102, 3),
	"electionCandidateMetrics" : {
		"lastElectionReason" : "electionTimeout",
		"lastElectionDate" : ISODate("2021-03-19T09:11:42.780Z"),
		"electionTerm" : NumberLong(1),
		"lastCommittedOpTimeAtElection" : {
			"ts" : Timestamp(0, 0),
			"t" : NumberLong(-1)
		},
		"lastSeenOpTimeAtElection" : {
			"ts" : Timestamp(1616145092, 1),
			"t" : NumberLong(-1)
		},
		"numVotesNeeded" : 2,
		"priorityAtElection" : 2,
		"electionTimeoutMillis" : NumberLong(10000),
		"numCatchUpOps" : NumberLong(0),
		"newTermStartDate" : ISODate("2021-03-19T09:11:42.844Z"),
		"wMajorityWriteAvailabilityDate" : ISODate("2021-03-19T09:11:43.578Z")
	},
	"members" : [
		{
			"_id" : 0,
			"name" : "172.16.254.136:40002",
			"health" : 1,
			"state" : 7,
			"stateStr" : "ARBITER",
			"uptime" : 16,
			"lastHeartbeat" : ISODate("2021-03-19T09:11:48.864Z"),
			"lastHeartbeatRecv" : ISODate("2021-03-19T09:11:49.220Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "",
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "",
			"configVersion" : 1
		},
		{
			"_id" : 1,
			"name" : "172.16.254.137:40002",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 93,
			"optime" : {
				"ts" : Timestamp(1616145102, 3),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-03-19T09:11:42Z"),
			"syncingTo" : "",
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "could not find member to sync from",
			"electionTime" : Timestamp(1616145102, 1),
			"electionDate" : ISODate("2021-03-19T09:11:42Z"),
			"configVersion" : 1,
			"self" : true,
			"lastHeartbeatMessage" : ""
		},
		{
			"_id" : 2,
			"name" : "172.16.254.138:40002",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 16,
			"optime" : {
				"ts" : Timestamp(1616145102, 3),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1616145102, 3),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-03-19T09:11:42Z"),
			"optimeDurableDate" : ISODate("2021-03-19T09:11:42Z"),
			"lastHeartbeat" : ISODate("2021-03-19T09:11:48.864Z"),
			"lastHeartbeatRecv" : ISODate("2021-03-19T09:11:47.702Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "172.16.254.137:40002",
			"syncSourceHost" : "172.16.254.137:40002",
			"syncSourceId" : 1,
			"infoMessage" : "",
			"configVersion" : 1
		}
	],
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1616145102, 3),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1616145102, 3)
}

六、部署shard3分片服务器

参数文件，三台机器都需要配置

/mongodb/conf/mongodb-shard3.conf

dbpath=/mongodb/data/shard3
logpath=/mongodb/logs/mongodb-shard3.log
port=40003
fork=true
#auth=true
#noauth=true
#verbose=true
#vvvv=true
journal = true
maxConns=5000
logappend=true
pidfilepath=/mongodb/apps/mongo-shard3.pid
#cpu=true
directoryperdb=true
#nohttpinterface=false
#notablescan=false
#profile=0
#slowms=200
#quiet=true
#syncdelay=60
replSet=hdshard3
bind_ip=0.0.0.0
shardsvr = true

启动服务(三台机器)

mongod -f /mongodb/conf/mongodb-shard3.conf

设置副本集成员

rs.initiate({_id:"hdshard3",members:[
{_id:0,host:"172.16.254.136:40003",priority:1},
{_id:1,host:"172.16.254.137:40003",arbiterOnly:true},
{_id:2,host:"172.16.254.138:40003",priority:2}
]})

查看副本集信息

hdshard3:PRIMARY> rs.status()
{
	"set" : "hdshard3",
	"date" : ISODate("2021-03-19T09:14:03.826Z"),
	"myState" : 1,
	"term" : NumberLong(1),
	"syncingTo" : "",
	"syncSourceHost" : "",
	"syncSourceId" : -1,
	"heartbeatIntervalMillis" : NumberLong(2000),
	"majorityVoteCount" : 2,
	"writeMajorityCount" : 2,
	"optimes" : {
		"lastCommittedOpTime" : {
			"ts" : Timestamp(1616145240, 1),
			"t" : NumberLong(1)
		},
		"lastCommittedWallTime" : ISODate("2021-03-19T09:14:00.492Z"),
		"readConcernMajorityOpTime" : {
			"ts" : Timestamp(1616145240, 1),
			"t" : NumberLong(1)
		},
		"readConcernMajorityWallTime" : ISODate("2021-03-19T09:14:00.492Z"),
		"appliedOpTime" : {
			"ts" : Timestamp(1616145240, 1),
			"t" : NumberLong(1)
		},
		"durableOpTime" : {
			"ts" : Timestamp(1616145240, 1),
			"t" : NumberLong(1)
		},
		"lastAppliedWallTime" : ISODate("2021-03-19T09:14:00.492Z"),
		"lastDurableWallTime" : ISODate("2021-03-19T09:14:00.492Z")
	},
	"lastStableRecoveryTimestamp" : Timestamp(1616145230, 3),
	"lastStableCheckpointTimestamp" : Timestamp(1616145230, 3),
	"electionCandidateMetrics" : {
		"lastElectionReason" : "electionTimeout",
		"lastElectionDate" : ISODate("2021-03-19T09:13:50.444Z"),
		"electionTerm" : NumberLong(1),
		"lastCommittedOpTimeAtElection" : {
			"ts" : Timestamp(0, 0),
			"t" : NumberLong(-1)
		},
		"lastSeenOpTimeAtElection" : {
			"ts" : Timestamp(1616145220, 1),
			"t" : NumberLong(-1)
		},
		"numVotesNeeded" : 2,
		"priorityAtElection" : 2,
		"electionTimeoutMillis" : NumberLong(10000),
		"numCatchUpOps" : NumberLong(0),
		"newTermStartDate" : ISODate("2021-03-19T09:13:50.490Z"),
		"wMajorityWriteAvailabilityDate" : ISODate("2021-03-19T09:13:51.267Z")
	},
	"members" : [
		{
			"_id" : 0,
			"name" : "172.16.254.136:40003",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 23,
			"optime" : {
				"ts" : Timestamp(1616145240, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1616145240, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-03-19T09:14:00Z"),
			"optimeDurableDate" : ISODate("2021-03-19T09:14:00Z"),
			"lastHeartbeat" : ISODate("2021-03-19T09:14:02.489Z"),
			"lastHeartbeatRecv" : ISODate("2021-03-19T09:14:03.370Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "172.16.254.138:40003",
			"syncSourceHost" : "172.16.254.138:40003",
			"syncSourceId" : 2,
			"infoMessage" : "",
			"configVersion" : 1
		},
		{
			"_id" : 1,
			"name" : "172.16.254.137:40003",
			"health" : 1,
			"state" : 7,
			"stateStr" : "ARBITER",
			"uptime" : 23,
			"lastHeartbeat" : ISODate("2021-03-19T09:14:02.489Z"),
			"lastHeartbeatRecv" : ISODate("2021-03-19T09:14:02.743Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncingTo" : "",
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "",
			"configVersion" : 1
		},
		{
			"_id" : 2,
			"name" : "172.16.254.138:40003",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 82,
			"optime" : {
				"ts" : Timestamp(1616145240, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-03-19T09:14:00Z"),
			"syncingTo" : "",
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "could not find member to sync from",
			"electionTime" : Timestamp(1616145230, 1),
			"electionDate" : ISODate("2021-03-19T09:13:50Z"),
			"configVersion" : 1,
			"self" : true,
			"lastHeartbeatMessage" : ""
		}
	],
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1616145240, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1616145240, 1)
}

七、部署路由服务器

配置参数文件(三台机器)

/mongodb/conf/mongodb-route.conf

pidfilepath=/mongodb/apps/mongo-route.pid
logpath=/mongodb/logs/mongodb-route.log
port=30000
fork=true
maxConns=5000
logappend=true
bind_ip=0.0.0.0
configdb = mongodb99/172.16.254.136:27017,172.16.254.137:27017,172.16.254.138:27017

启动服务(三台机器)，注意是mongos，而不是mongod

mongos -f /mongodb/conf/mongodb-route.conf

八、启动分片功能 

mongo --port 30000

sh.addShard("hdshard1/172.16.254.136:40001,172.16.254.137:40001,172.16.254.138:40001")

sh.addShard("hdshard2/172.16.254.136:40002,172.16.254.137:40002,172.16.254.138:40002")

sh.addShard("hdshard3/172.16.254.136:40003,172.16.254.137:40003,172.16.254.138:40003")

九、测试分片

插入测试数据 

mongos> use db5
switched to db db5
mongos> show dbs
admin   0.000GB
config  0.001GB
mongos> db.settings.save({"_id":"chunksize","value":1})
WriteResult({ "nMatched" : 0, "nUpserted" : 1, "nModified" : 0, "_id" : "chunksize" })

//设置块大小为1M是方便实验，不然就需要插入海量数据

启用数据库分片

sh.enableSharding("db5")

为表创建索引

mongos> db.db5.createIndex({"id":1})
{
	"raw" : {
		"hdshard2/172.16.254.137:40002,172.16.254.138:40002" : {
			"createdCollectionAutomatically" : false,
			"numIndexesBefore" : 1,
			"numIndexesAfter" : 2,
			"ok" : 1
		}
	},
	"ok" : 1,
	"operationTime" : Timestamp(1616150499, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1616150499, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

启动表分片 

mongos> sh.shardCollection("db5.db5",{"id":1})
{
	"collectionsharded" : "db5.db5",
	"collectionUUID" : UUID("2122da21-7279-4b88-b60f-73dd3d0276fb"),
	"ok" : 1,
	"operationTime" : Timestamp(1616150605, 9),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1616150605, 9),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

查看分片情况 

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("60545017224c766911a9c440")
  }
  shards:
        {  "_id" : "hdshard1",  "host" : "hdshard1/172.16.254.136:40001,172.16.254.137:40001",  "state" : 1 }
        {  "_id" : "hdshard2",  "host" : "hdshard2/172.16.254.137:40002,172.16.254.138:40002",  "state" : 1 }
        {  "_id" : "hdshard3",  "host" : "hdshard3/172.16.254.136:40003,172.16.254.138:40003",  "state" : 1 }
  active mongoses:
        "4.2.12" : 3
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                682 : Success
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
                config.system.sessions
                        shard key: { "_id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                hdshard1	342
                                hdshard2	341
                                hdshard3	341
                        too many chunks to print, use verbose if you want to force print
        {  "_id" : "db5",  "primary" : "hdshard2",  "partitioned" : true,  "version" : {  "uuid" : UUID("bc5d26af-5248-431b-8065-7143fdbffb97"),  "lastMod" : 1 } }
                db5.db5
                        shard key: { "id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                hdshard2	1
                        { "id" : { "$minKey" : 1 } } -->> { "id" : { "$maxKey" : 1 } } on : hdshard2 Timestamp(1, 0)

可以看到数据已经平均分布到三个分片。

StevenBeijing
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MongoDB 4.2.2 分片集群搭建及测试
weixin_46163831的博客
11-23 1245
MongoDB 4.2.16 分片副本集高可用集群搭建
qq_42409495的博客
10-16 572
1 MongoDB简介 MongoDB 是一个文档数据库，旨在简化开发和扩展。 MongoDB 中的记录是一个文档，它是由字段和值对组成的数据结构。MongoDB 文档类似于 JSON 对象。字段的值可能包括其他文档、数组和文档数组。 使用文档的优点是： 文档（即对象）对应于许多编程语言中的本地数据类型。 嵌入式文档和数组减少了对昂贵连接的需求。 动态模式支持流畅的多态性。 2 环境准备 2.1 主机规划 hadoop101 hadoop102 hadoop103 说明 mon
MongoDB 集群配置
weixin_34315189的博客
10-18 94
http://flykite.blog.51cto.com/4721239/832417http://wgwang.github.com/tech/mongo/replset_with_mongos.htmlhttp://www.docin.com/p-347240893.html http://blog.csdn.net/fengyily/article/details/7388926  chu...
MongoDB 4.2 分片集群搭建
琪琪的博客
01-29 1840
1 部署结构 1.1 集群结构 典型的三分片Mongo集群如下图所示，包含三类组件：查询路由、配置服务器、分片。其中查询路由为mongos进程，配置服务器和分片都是mongod进程。配置服务器和分片都采取副本集（replica set）来确保可用性和健壮性，每个副本集最少包含三个节点。查询路由都是单实例运行，没有副本集机制，可根据需要增加实例数量，也可以在外部添加负载均衡。 上图中每个方框仅代表功能集合，不代表物理位置。实际部署时，为了避免单点故障，同一个副本集中的成员，应该部署在不同主机上...
MongoDb 4.2版本配置文件
weixin_45069605的博客
07-20 1493
win10系统安装MongoDB 4.2版本后，自动生成的配置文件。 ps:仅改动auth,开启用户认证，用作记录 #数据库路径 dbpath=D:\Program Files\MongoDB\Server\4.2\data #日志输出文件路径 logpath=D:\Program Files\MongoDB\Server\4.2\log\mongo.log #错误日志采用追加模式 logappend=true #启用日志文件，默认启用 journal=true #这个选项可以过滤掉一些无用的日志信息，若需
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
MongoDB4.2分片及副本集群搭建.docx
10-09
MongoDB4.2分片及副本集群搭建详细指导手册，详细描述了MongoDB4.2数据库服务器集群的搭建以及副本和分片服务的配置过程及具体操作指令。
mongodb 分片集群搭建过程（无副本）
04-18
mongodb 分片集群搭建过程（无副本），详细操作步骤，linux命令
MongoDB的分片集群基本配置教程
09-10
MongoDB拥有经典的Sharding架构能将数据分散存储在数个服务器上以作集群,这里我们就来看一下MongoDB的分片集群基本配置教程:
centos7下mongodb4.0.6分片集群搭建-单体升级成绩群方案.pdf
09-04
公司单节点升级到分片下，搜索了一圈大多数 MongoDB 集群的部署方案都是分片+副本集，没有讲述如何从单节点升级到分片+复制集的方法，亲自试验后记录整个过程以及中间的参考内容和疑难解 决，以备后查。内容包含复制...
MongoDB分片（Sharding）技术
weixin_30606461的博客
04-18 183
分片（sharding）是MongoDB用来将大型集合分割到不同服务器（或者说一个集群）上所采用的方法。尽管分片起源于关系型数据库分区，但MongoDB分片完全又是另一回事。 和MySQL分区方案相比，MongoDB的最大区别在于它几乎能自动完成所有事情，只要告诉MongoDB要分配数据，它就能自动维护数据在不同服务器之间的均衡。 2.1 MongoDB分片介绍 2.1.1 分片的目的 　...
Centos7/Centos8 Mongodb4.2分片集群配置(同一主机)
weixin_48803304的博客
07-12 499
这个为同一主机的示范，可根据情况进行更改 服务 实例 端口 mongos路由 mongos 20000 config服务器1 config1 20001 config服务器2 config2 20002 config服务器3 config3 20003 shard分片主1 shard1-1 20011 shard分片备1 shard2-1 20012 shard分片主2 shard2-1 20021 shard分片备2 shard2-2 20022 shard
8.MongoDB之分片集群
热门推荐
mijichui2153的博客
03-14 1万+
一、mongodb分片与各角色与概念介绍 Mongodb的分片机制是mongodb数据库的核心机制，也是其可用性高，扩展性好的原因，分片—sharding 的意思就是将数据库数据分散存贮到不同的服务器上，来缓解高并发访问，均衡负载。举例来说一下，比如说一个collection有TB级别的数据，在传统方式下如果有两个线程要访问其中的数据，即使这个线程访问的数据是不同的，为保证同步需要排队等待，分片机制可以很好的解决这个问题，分片机制其实就是分布式的集群，比如现在有五台服务器作为集群，mongodb可以将一.
MongoDB 分片集群
程序员路同学
05-18 2402
分片集群 1. 什么是分片？ 将数据水平拆分到不同的服务器上 2. 为什么要使用分片集群 数据量突破单机瓶颈，数据量大，恢复很慢，不利于数据管理 并发量突破单机性能瓶颈 MongoDB 分片集群几部分组成 ...
『MongoDB』MongoDB高可用部署架构——分片集群篇（Sharding）
老陈聊架构
03-23 3053
📣读完这篇文章里你能收获到，为什么要使用分片吗， Mongodb分片集群有哪些特点了， Mongodb分片集群的完整架构，Mongodb分片集群数据分布方式， Mongodb分片集群的设计思路， Mongodb分片集群搭建及扩容...
超简单mongodb 4.2分片集群搭建指南
南熏门前一只喵
03-19 2943
本文以三台虚拟机为例搭建mongodb分片集群实验环境。由于config节点和mongos路由节点为单实例方式，所以现网部署不推荐此方式部署，仅供参考。现网部署应考虑config节点和mongos路由节点的高可用。 部署环境： 三台虚拟机 16核 32GB 200GB硬盘 centos 6.9 mongodb 4.2.0 整体集群结构 计划创建三个分片，每个分片采用一主一副已仲裁构建副本集，搭建...
MongoDB 4.2.2 分片集群搭建(一)
藏獒的故事的博客
12-10 2696
由于作此博客是mongoDB的最新版本为4.2.2 ,故此本文搭建以4.2.2版本为例一.mongoDB分片集群架构介绍二.服务器列表 (version:Centos7.3 )三.搭建前准备1.分别把下载好的mongodb安装包上传到12台服务器上;2.在12台服务器上分别添加环境变量:3.准备keyfile秘钥文件 用于集群内部通讯四.搭建集群环境1.搭建config配置集群(1)分别在conf...
MongoDB 4.2 副本集群及分片集群搭建
u012890775的博客
10-09 1482
一、环境准备 系统版本：Centos 7 软件版本：MongoDB 4.2 关闭防火墙及selinux #systemctl stop firewalld.service #setenforce 0 二、角色规划 172.22.12.10 172.22.12.11 172.22.12.12 mongos(27020) mongos(27020) mongos(27020) Config(27019...
2. MongoDB分片集群架构实战-----MongoDB分片集群和多文档事务详解
俺就是菜的很的博客
06-28 2160
分片(shard)是指在将数据进行水平切分之后，将其存储到多个不同的服务器节点上的一种扩展方式。分片在概念上非常类似于应用开发中的“水平分表"。不同的点在于，MongoDB本身就自带了分片管理的能力，对于开发者来说可以做到开箱即用。为什么要使用分片?MongoDB复制集实现了数据的多副本复制及高可用，但是一个复制集能承载的容量和负载是有限的。在你遇到下面的场景时，就需要考虑使用分片了∶存储容量需求超出单机的磁盘容量。活跃的数据集超出单机内存容量,导致很多请求都要从磁盘读取数据，影响性能。
mongodb分片集群搭建
最新发布
09-26
为了搭建mongodb分片集群，首先需要配置每个分片的mongod服务组成副本集。每个分片可以由多台mongod服务组成。配置过程相同，并且需要在每个分片上依次启动mongod程序。然后需要初始化shard副本集和config server...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值