mongodb学习笔记—mongodb集群搭建（sharding集群）

最新推荐文章于 2024-07-04 18:22:35 发布
最新推荐文章于 2024-07-04 18:22:35 发布
阅读量522 收藏
点赞数
文章标签： 数据库 git 开发工具
原文链接：https://my.oschina.net/djflying/blog/732147
版权

##集群规划

IP端口角色
10.1.200.11827017mongos
10.1.200.12027017config server
10.1.200.12527017shard
10.1.200.14327017shard（primary）
10.1.200.14627017shard

sharding集群具体流程如下图：

输入图片说明

分析：

1、sharding集群的三类角色：mongos、config server、shard： mongos：类似于负载均衡器的作用，可以部署多个。 config server：配置服务器用来存储mongos的配置信息，可以部署成一个replica set集群。 shard：片键，可以部署成一个replica set集群。

2、replica set集群是使用集群中的每一台服务器来承载所有对整个集群的流量，容易造成服务器压力过大。而sharding集群是使用负载均衡的思想，将对整个集群的流量分摊到每一台服务器上，这样可以大大降低整个集群的负荷，提高系统的吞吐量。

3、分片的方式有三种：range，hash，tag： 1）range：就是下面要讲述的。 2）hash：和redis cluster一样。 3）tag：手工指定分片。

##安装和配置

参照单实例。

##各个节点配置文件修改

1、10.1.200.118节点：

[root@centos4 logs]# vim /etc/mongod.conf 
# 数据库文件位置
dbpath=/usr/local/mongodb/db
# 日志文件位置
logpath=/usr/local/mongodb/logs/mongodb.log
# 以追加方式写入日志
logappend=true
# 绑定服务IP，若绑定127.0.0.1，则只能本机访问，不指定默认本地所有IP  
bind_ip=10.1.200.118
# 默认端口为27017
port=27017

2、10.1.200.120节点：

[root@centos5 db]# vim /etc/mongod.conf 
# 数据库文件位置
dbpath=/usr/local/mongodb/db
# 日志文件位置
logpath=/usr/local/mongodb/logs/mongodb.log
# 以追加方式写入日志
logappend=true
# 绑定服务IP，若绑定127.0.0.1，则只能本机访问，不指定默认本地所有IP
bind_ip=10.1.200.120
# 默认端口为27017
port=27017

# sharding集群中，设置是否为config server
configsvr=true

3、10.1.200.125、10.1.200.143、10.1.200.146三个节点：

[root@centos6 db]# vim /etc/mongod.conf 
# 数据库文件位置
dbpath=/usr/local/mongodb/db
# 日志文件位置
logpath=/usr/local/mongodb/logs/mongodb.log
# 以追加方式写入日志
logappend=true
# 绑定服务IP，若绑定127.0.0.1，则只能本机访问，不指定默认本地所有IP
bind_ip=10.1.200.125
# 默认端口为27017
port=27017

##启动10.1.200.120节点的mongodb服务

[root@centos5 db]# service mongodb start
db path is: /usr/local/mongodb/db
/usr/local/mongodb/bin/mongod
Starting mongod: /usr/local/mongodb/bin/mongod --config /etc/mongod.conf

[root@centos5 db]#

##启动10.1.200.118节点的mongos服务

[root@centos4 logs]# mongos --configdb 10.1.200.120:27017 
2016-08-13T15:29:41.652+0800 W SHARDING [main] Running a sharded cluster with fewer than 3 config servers should only be done for testing purposes and is not recommended for production.
2016-08-13T15:29:41.655+0800 I CONTROL  [main] ** WARNING: You are running this process as the root user, which is not recommended.
2016-08-13T15:29:41.655+0800 I CONTROL  [main] 
2016-08-13T15:29:41.655+0800 I SHARDING [mongosMain] MongoS version 3.2.8 starting: pid=5090 port=27017 64-bit host=centos4 (--help for usage)
2016-08-13T15:29:41.655+0800 I CONTROL  [mongosMain] db version v3.2.8
2016-08-13T15:29:41.655+0800 I CONTROL  [mongosMain] git version: ed70e33130c977bda0024c125b56d159573dbaf0
2016-08-13T15:29:41.655+0800 I CONTROL  [mongosMain] allocator: tcmalloc
2016-08-13T15:29:41.655+0800 I CONTROL  [mongosMain] modules: none
2016-08-13T15:29:41.655+0800 I CONTROL  [mongosMain] build environment:
2016-08-13T15:29:41.655+0800 I CONTROL  [mongosMain]     distarch: x86_64
2016-08-13T15:29:41.655+0800 I CONTROL  [mongosMain]     target_arch: x86_64
2016-08-13T15:29:41.655+0800 I CONTROL  [mongosMain] options: { sharding: { configDB: "10.1.200.120:27017" } }
2016-08-13T15:29:41.655+0800 I SHARDING [mongosMain] Updating config server connection string to: 10.1.200.120:27017
2016-08-13T15:29:41.659+0800 I SHARDING [LockPinger] creating distributed lock ping thread for 10.1.200.120:27017 and process centos4:27017:1471073381:1047189914 (sleeping for 30000ms)
2016-08-13T15:29:41.662+0800 I SHARDING [LockPinger] cluster 10.1.200.120:27017 pinged successfully at 2016-08-13T15:29:41.660+0800 by distributed lock pinger '10.1.200.120:27017/centos4:27017:1471073381:1047189914', sleeping for 30000ms
2016-08-13T15:29:41.670+0800 I NETWORK  [HostnameCanonicalizationWorker] Starting hostname canonicalization worker
2016-08-13T15:29:41.670+0800 I SHARDING [Balancer] about to contact config servers and shards
2016-08-13T15:29:41.671+0800 I SHARDING [Balancer] config servers and shards contacted successfully
2016-08-13T15:29:41.671+0800 I SHARDING [Balancer] balancer id: centos4:27017 started
2016-08-13T15:29:41.689+0800 I NETWORK  [mongosMain] waiting for connections on port 27017
2016-08-13T15:29:41.693+0800 I SHARDING [Balancer] distributed lock 'balancer/centos4:27017:1471073381:1047189914' acquired for 'doing balance round', ts : 57aecc6597c942c8b7784c79
2016-08-13T15:29:41.694+0800 I SHARDING [Balancer] distributed lock 'balancer/centos4:27017:1471073381:1047189914' unlocked. 
2016-08-13T15:29:41.719+0800 I NETWORK  [mongosMain] connection accepted from 10.6.101.46:26223 #1 (1 connection now open)

注意：此时10.1.200.118节点的角色是sharding集群的mongos，所以需要开启对应的mongos服务，而不是mongod服务。

##启动另外三个节点的mongod服务：

[root@centos6 db]# service mongodb start
db path is: /usr/local/mongodb/db
/usr/local/mongodb/bin/mongod
Starting mongod: /usr/local/mongodb/bin/mongod --config /etc/mongod.conf

[root@centos6 db]#

##集群配置 1、客户端连接10.1.200.118节点，如下操作添加10.1.200.125、10.1.200.143和10.1.200.146三个节点到集群中：

sh.addShard("10.1.200.125:27017")
sh.addShard("10.1.200.143:27017")
sh.addShard("10.1.200.146:27017")
/* 1 */
{
    "shardAdded" : "shard0000",
    "ok" : 1.0
}
/* 1 */
{
    "shardAdded" : "shard0001",
    "ok" : 1.0
}
/* 1 */
{
    "shardAdded" : "shard0002",
    "ok" : 1.0
}

2、配置在具体某个数据库上启用分片功能：

sh.enableSharding("flightswitch")
/* 1 */
{
    "ok" : 1.0
}

如上配置之后在flightswitch数据库上启用分片功能。

3、在某个数据库的某个collection上启用分片功能，片键是主键id：

sh.shardCollection("flightswitch.flightsegment",{"_id":1})
/* 1 */
{
    "collectionsharded" : "flightswitch.flightsegment",
    "ok" : 1.0
}

注意：我们最后的分片是对某一个collection的数据进行分片的。

4、查看sharding集群的状态：

sh.status()
--- Sharding Status --- 
  sharding version: {
	"_id" : 1,
	"minCompatibleVersion" : 5,
	"currentVersion" : 6,
	"clusterId" : ObjectId("57aec8ba87cc3e8611b4713e")
}
  shards:
	{  "_id" : "shard0000",  "host" : "10.1.200.125:27017" }
	{  "_id" : "shard0001",  "host" : "10.1.200.143:27017" }
	{  "_id" : "shard0002",  "host" : "10.1.200.146:27017" }
  active mongoses:
	"3.2.8" : 1
  balancer:
	Currently enabled:  yes
	Currently running:  no
	Failed balancer rounds in last 5 attempts:  0
	Migration Results for the last 24 hours: 
		No recent migrations
  databases:
	{  "_id" : "flightswitch",  "primary" : "shard0001",  "partitioned" : true }
		flightswitch.flightsegment
			shard key: { "_id" : 1 }
			unique: false
			balancing: true
			chunks:
				shard0001	1
			{ "_id" : { "$minKey" : 1 } } -->> { "_id" : { "$maxKey" : 1 } } on : shard0001 Timestamp(1, 0)

从集群状态可以看出来此时集群的主片键是shard0001，也就是10.1.200.143节点。 至此sharding集群已经创建完成。

##集群测试

1、客户端连接10.1.200.118节点，向之前配置分片功能的collection中插入document数据：

for(var i=1; i<=100; i++ ){
    db.flightsegment.insert({"originCity":"SHA" + i})
}
Inserted 1 record(s) in 55ms
Inserted 1 record(s) in 10ms
Inserted 1 record(s) in 11ms
Inserted 1 record(s) in 9ms
Inserted 1 record(s) in 9ms
Inserted 1 record(s) in 7ms
Inserted 1 record(s) in 7ms
Inserted 1 record(s) in 8ms
Inserted 1 record(s) in 7ms
Inserted 1 record(s) in 7ms
Inserted 1 record(s) in 9ms
Inserted 1 record(s) in 7ms
Inserted 1 record(s) in 6ms
Inserted 1 record(s) in 7ms
Inserted 1 record(s) in 7ms
Inserted 1 record(s) in 10ms
Inserted 1 record(s) in 7ms
Inserted 1 record(s) in 12ms
……

2、此时再查看集群的状态：

sh.status()
--- Sharding Status --- 
  sharding version: {
	"_id" : 1,
	"minCompatibleVersion" : 5,
	"currentVersion" : 6,
	"clusterId" : ObjectId("57aec8ba87cc3e8611b4713e")
}
  shards:
	{  "_id" : "shard0000",  "host" : "10.1.200.125:27017" }
	{  "_id" : "shard0001",  "host" : "10.1.200.143:27017" }
	{  "_id" : "shard0002",  "host" : "10.1.200.146:27017" }
  active mongoses:
	"3.2.8" : 1
  balancer:
	Currently enabled:  yes
	Currently running:  no
	Failed balancer rounds in last 5 attempts:  0
	Migration Results for the last 24 hours: 
		2 : Success
  databases:
	{  "_id" : "flightswitch",  "primary" : "shard0001",  "partitioned" : true }
		flightswitch.flightsegment
			shard key: { "_id" : 1 }
			unique: false
			balancing: true
			chunks:
				shard0000	1
				shard0001	1
				shard0002	1
			{ "_id" : { "$minKey" : 1 } } -->> { "_id" : ObjectId("57aed47d2d291818f5dc78fb") } on : shard0000 Timestamp(2, 0) 
			{ "_id" : ObjectId("57aed47d2d291818f5dc78fb") } -->> { "_id" : ObjectId("57aed47d2d291818f5dc7911") } on : shard0002 Timestamp(3, 0) 
			{ "_id" : ObjectId("57aed47d2d291818f5dc7911") } -->> { "_id" : { "$maxKey" : 1 } } on : shard0001 Timestamp(3, 1)

可以看到三个节点上都有数据了，说明数据已经被分片存储了。

转载于:https://my.oschina.net/djflying/blog/732147

chfantv17156
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mongodb集群搭建（sharding集群）
hanlicun的博客
01-28 1335
mongos：数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。 config server：顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配
MongoDB学习笔记之集群搭建（二）
yaya_jn的博客
05-02 564
搭建教程详见：MongoDB学习笔记之集群搭建（一）https://yayasoft.blog.csdn.net/article/details/124534086 安全认证 创建用户 在主节点服务器上，启动mongo use admin #创建用户 db.createUser({ user: "fox", pwd: "fox", roles: [ { role: "clusterAdmin", db: "admin" } , { role: "userA
mongodb分片部署和管理
Brent的专栏
06-22 1万+
一.部署分片集群 在3.2版本中,官方建议对所有生产的config server和shard server都使用复制集.其中config server对复制集有如下要求: 1.必须没有仲裁节点 2.必须没有延时节点 3.必须创建索引,即没有节点配置buildIndex为false 我们这里用来测试就搭建复制集了. 新部署一个分片集群包括4步骤: 1.部署c
MongoDB 分片1
weixin_30580943的博客
06-01 95
第一步： 准备数据节点 必须添加–shardsvr参数。 [html]view plaincopy mongod--port32770--shardsvr--dbpathD:\db\mongodata\shard\mongodb1--logpathD:\db\mongodata\shard\mongodb1.log mongod--port3277...
MongoDB 3.4 分片与副本集实践笔记
积累与备忘
05-12 818
第一步： 准备数据节点 我们准备两个单节点，当然，你也可以使用副本集作为数据节点，只是我的PC实在跑不动…… 必须添加–shardsvr参数。 mongod --port 32770 --shardsvr --dbpath D:\db\mongodata\shard\mongodb1 --logpath D:\db\mongodata\shard\mongodb1.lo
mongodb sharding(六)之configservers 与 shards
weixin_30627381的博客
12-31 198
1. 当其中的某一个shard不可用时，整个分片集群就都不可用。只有config库能够读写，并且数据迁移与分块都会停止。 　 　如上图，集群中有三个shard.现在我把shard0001这个shard停掉再进行查询操作时发现操作失败 　 　从这里可以看出，如果某一个shard仅仅只有一个mongod进程而不是replSet模式，那么当这个进程宕机后整个集群都不可用。所以每个shard一定要...
MongoDB集群搭建之sharding
mameng1988的博客
07-01 720
1 集群架构介绍 1.1 sharding集群架构 shard：每个分片包含分片数据的子集。每个分片都可以部署为副本集（replica set）。可以分片，不分片的数据存于主分片服务器上。部署为3成员副本集。 mongos：mongos充当查询路由器，提供客户端应用程序和分片集群之间的接口。可以部署多个mongos路由器。部署1个或者多个mongos。 config servers：配置服务器存储群集的元数据和配置设置。从MongoDB 3.4开始，必须将配置服务器部署为3成员副本集。 注意：应用程序
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
Mongodb集群之副本集集群搭建
11-08
mongodb的集群搭建方式主要有三种，主从，Replica set，sharding, 三种模式各有优劣，适用于不同的场合，副本应用最为广泛，主从现在用的较少，sharding最为完备。副本集是一组维护相同数据集的mongod服务，可提供...
mongodb高可用完全分布集群搭建
09-12
MongoDB高可用完全分布集群搭建 mongodb是当前最流行的NoSQL数据库之一，具有高性能、高可用性和水平扩展能力的特点。然而，为了充分发挥mongodb的性能和高可用性，需要对其进行合理的架构设计和部署。以下是...
MongoDB学习以及集群搭建的实践全纪录
09-09
在本篇文章中，我们将深入探讨MongoDB的学习及其集群搭建的实践过程，特别关注MongoDB的集群架构，包括主从模式、副本集模式以及分片式集群。 在传统主从模式中，MongoDB的数据复制依赖于一个主节点和一个或多个从...
MongoDB企业级分片集群搭建
10-19
MongoDB分片集群技术用于解决海量数据的存储问题；而MongoDB副本集是一组维护相同数据集的mongod服务。由此可以看出课程的内容将带领同学们进行MongoDB容灾备份方面的实战，通过MongoDB分片集群技术和MongoDB副本集...
部署MongoDB分片群集
weixin_34283445的博客
07-17 474
部署MongoDB分片群集 分片概述 高数据量和吞吐量的数据库应用会对单机的性能造成较大的压力，大的查询量会将单机的CPU耗尽，大的数据量对单机的存储压力较大，最终会耗尽系统的内存而将压力转移到磁盘IO上。 MongoDB分片是使用多个服务器储存数据的方法，以支持巨大的数据存储和对数据进行操作。分片技术可以满足MongoDB数据量大量增长的需求，当一台MongoDB服务器不足以存储海量数据或者不足...
MongoDB报错：connecting to: mongodb://127.0.0.1:27017/?compressors=disabled&gssapiServiceName=mongodb
热门推荐
ZS74520的博客
12-06 1万+
MongoDB安装完成，但是在输入启动命令时，报出以下错误 解决方案 1.在其他磁盘下新建一个data目录,里边新建一个db文件夹 2.在MongoDB的bin目录下输入mongod.exe --dbpath D:\data\db 其中 D:\data\db 代表的是你需要存放的位置，所以需要事先进行创建该文件夹 3.之后这个DOS窗口不要关闭，重新打开一个DOS窗口，也是在MongoDB的bin目录下，输入mongo启动 ...
解决Mongodb启动报错Error: couldn‘t connect to server 127.0.0.1:27017, connection attempt failed
qq_40055200的博客
09-16 5611
今天启动mongodb连接出现上面的错误，最终找的的解决方法是打开cmd命令行，输入以下命令。再次运行mongo，完美解决。
关于MongoDB报错：connecting to: mongodb://127.0.0.1:27017/?compressors=disabled&gssapiServiceName=mongodb
s_sos0的博客
06-25 2199
mongodb启动报错
MongoDB分片群集（实现分片服务启用、分片服务管理、单点故障模拟）
weixin_33786077的博客
07-18 318
MongoDB分片概述 1、什么是分片 高数据量和吞吐量的数据库应用会对单机的性能造成较大压力，大的查询量会将单机的CPU耗尽，大的数据量对单机的存储压力较大，最终会耗尽系统的内存而将压力转移到磁盘IO上。 MongoDB分片是使用多个服务器存储数据的方法，以支持巨大的数据存储和对数据进行操作。分片技术可以满足MongoDB数据量大量增长的需求，当一台服务器存储量不够时，可以通过再外接一台分片服...
流式数据库 RisingWave「Demo」：直播指标实时分析
最新发布
https://risingwave.com/
07-04 804
直播是目前最为流行的娱乐形式之一，本教程将分享如何使用开源流式数据库 RisingWave 监控直播指标。我们为本教程设置了一个演示集群，以便大家可以轻松尝试。
Mongodb学习笔记.docx
06-10
本次学习笔记主要围绕着NoSQL数据库MongoDB展开，同时也包括了Cache技术和运行平台的搭建。在学习的过程中，笔记将着重介绍了学习方向、现状、目的和难点等方面。 首先，学习方向主要包括三个方面：NoSQL数据库...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值