windows系统下MongoDB分片集群搭建--初级篇

最新推荐文章于 2024-03-17 22:26:29 发布
最新推荐文章于 2024-03-17 22:26:29 发布
阅读量710 收藏 7
点赞数
分类专栏： java开发 文章标签： java 数据库 mongodb 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dcj695632854/article/details/114976825
版权

在搭建MongoDB分片集群之前，首先要了解MongoDB分片集群的目的：

对于单台数据库服务器，庞大的数据量及高吞吐量的应用程序对它而言无疑是个巨大的挑战。频繁的CRUD操作能够耗尽服务器的CPU资源，快速的数据增长也会让硬盘存储无能为力，最终内存无法满足数据需要导致大量的I/O，主机负载严重。为了解决这种问题，对于数据库系统一般有两种方法：垂直扩展和分片（水平扩展）。

一、垂直扩展

简单理解的话，就是硬件方向的

二、分片（这就是本篇文章的目的）

分片，简单理解就是把多个MongoDB副本集群整合成一个大的整体，再通过一定的分发规则（也叫片键），将数据存储到不同的副本集群里面。大概的流程图就比如流程图，因此，搭建一个MongoDB分片集群就要从最基础的底层开始

1.创建Mongo文件夹。

这部分就随意了，为了方便管理，下图是我创建的文件夹

文件夹

config：配置文件存放目录

configServer：配置服务器存放目录

route：路由服务器存放目录

shard1：分片1存放目录（副本集群1）

shard2：分片2存放目录（副本集群2）

shard3：分片3存放目录（副本集群3）

文件夹内部如何创建，根据自己的开发习惯即可。不再赘述

2.创建副本集群（副本集群1，副本集群2，副本集群3）

创建副本集群方式可参考副本集群创建，配置文件多少有点区别，参考如下：

logpath=G:\MongoDB3.6.21\shard1\data1\log\mingo1.log
dbpath=G:\MongoDB3.6.21\shard1\data1\db
port=1111
directoryperdb=true
logappend=true
oplogSize=512
replSet=shard1
shardsvr=true

replSet：副本集名称，每个副本集集群名称都不能一样

shardsvr=true：这个必须有

3.创建配置服务器

创建配置服务器配置文件

#conf1.config
logpath=G:\MongoDB3.6.21\configServer\conf1\log\conf1.log
dbpath=G:\MongoDB3.6.21\configServer\conf1\db
logappend=true
port=30000
configsvr=true
oplogSize=512
replSet=config
-----------------------------------------------
#conf2.config
logpath=G:\MongoDB3.6.21\configServer\conf2\log\conf2.log
dbpath=G:\MongoDB3.6.21\configServer\conf2\db
logappend=true
port=30001
configsvr=true
oplogSize=512
replSet=config
-----------------------------------------------
#conf3.config
logpath=G:\MongoDB3.6.21\configServer\conf3\log\conf3.log
dbpath=G:\MongoDB3.6.21\configServer\conf3\db
logappend=true
port=30002
configsvr=true
oplogSize=512
replSet=config

添加配置服务器服务

mongod --config G:\MongoDB3.6.21\config\conf\conf1.config --serviceName "conf1" --serviceDisplayName "conf1" --install

mongod --config G:\MongoDB3.6.21\config\conf\conf2.config --serviceName "conf2" --serviceDisplayName "conf2" --install

mongod --config G:\MongoDB3.6.21\config\conf\conf3.config --serviceName "conf3" --serviceDisplayName "conf3" --install

启动配置服务器

net start conf1
net start conf2
net start conf3

4.配置路由服务器

直接执行如下代码，即可创建路由服务

mongos --configdb config/127.0.0.1:30000,127.0.0.1:30001,127.0.0.1:30002 --port 40004 --logpath G:\MongoDB3.6.21\route\log\route.log --logappend --serviceName "route" --serviceDisplayName "route" --install

--configdb：这段代码表示的是把配置服务器配置到路由服务，config这个不是固定的，这个是你在配置服务器的配置文件内，在replSet=config这个位置配置的，一定要对应上。

启动路由服务器

net start route

5.连接路由服务

mongo --host 127.0.0.1 --port 40004

出现下面这样则表示成功链接路由

MongoDB shell version v3.6.21
connecting to: mongodb://127.0.0.1:40004/?gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("a310a2fc-1059-4067-be5a-45dcee2dc69a") }
MongoDB server version: 3.6.21
Server has startup warnings:
2021-03-18T13:40:17.693+0800 I CONTROL  [main]
2021-03-18T13:40:17.693+0800 I CONTROL  [main] ** WARNING: Access control is not enabled for the database.
2021-03-18T13:40:17.693+0800 I CONTROL  [main] **          Read and write access to data and configuration is unrestricted.
2021-03-18T13:40:17.693+0800 I CONTROL  [main]
2021-03-18T13:40:17.693+0800 I CONTROL  [main] ** WARNING: This server is bound to localhost.
2021-03-18T13:40:17.693+0800 I CONTROL  [main] **          Remote systems will be unable to connect to this server.
2021-03-18T13:40:17.693+0800 I CONTROL  [main] **          Start the server with --bind_ip <address> to specify which IP
2021-03-18T13:40:17.693+0800 I CONTROL  [main] **          addresses it should serve responses from, or with --bind_ip_all to
2021-03-18T13:40:17.693+0800 I CONTROL  [main] **          bind to all interfaces. If this behavior is desired, start the
2021-03-18T13:40:17.693+0800 I CONTROL  [main] **          server with --bind_ip 127.0.0.1 to disable this warning.
2021-03-18T13:40:17.694+0800 I CONTROL  [main]
mongos>

6.添加分片服务器，也就是关联副本集群，一定要先切换到admin，不然没有权限，操作不了

mongos> use admin

mongos> db.runCommand({addshard:"shard1/127.0.0.1:1111,127.0.0.1:2222,127.0.0.1:3333",name:"shard1"})

执行之后，显示是这样表示成功

{
        "shardAdded" : "shard1",
        "ok" : 1,
        "operationTime" : Timestamp(1616046216, 4),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1616046216, 5),
                "signature" : {
                        "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
                        "keyId" : NumberLong(0)
                }
        }
}

依次添加shard2和shard3

mongos> db.runCommand({addshard:"shard2/127.0.0.1:4444,127.0.0.1:5555,127.0.0.1:6666",name:"shard2"})

{
        "shardAdded" : "shard2",
        "ok" : 1,
        "operationTime" : Timestamp(1616046249, 3),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1616046249, 3),
                "signature" : {
                        "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
                        "keyId" : NumberLong(0)
                }
        }
}

mongos> db.runCommand({addshard:"shard3/127.0.0.1:7777,127.0.0.1:8888,127.0.0.1:9999",name:"shard1"})

{
        "shardAdded" : "shard3",
        "ok" : 1,
        "operationTime" : Timestamp(1616046271, 3),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1616046271, 3),
                "signature" : {
                        "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
                        "keyId" : NumberLong(0)
                }
        }
}

7.查看分片配置状态

mongos> sh.status()

成功配置显示如下

--- Sharding Status ---
  sharding version: {
        "_id" : 1,
        "minCompatibleVersion" : 5,
        "currentVersion" : 6,
        "clusterId" : ObjectId("6052bcde1397a09583e97cf3")
  }
  shards:
        {  "_id" : "shard1",  "host" : "shard1/127.0.0.1:1111,127.0.0.1:2222",  "state" : 1 }
        {  "_id" : "shard2",  "host" : "shard2/127.0.0.1:4444,127.0.0.1:5555",  "state" : 1 }
        {  "_id" : "shard3",  "host" : "shard3/127.0.0.1:7777,127.0.0.1:8888",  "state" : 1 }
  active mongoses:
        "3.6.21" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours:
                No recent migrations
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }

8.接下来就是测试分片服务是否能成功做到数据的分片存储

查看当前数据库，admin系统库，config配置服务器库，不能在这里面做测试数据

mongos> show dbs
admin   0.000GB
config  0.001GB

创建新库

mongos> use admin

mongos> db.runCommand({enablesharding:"testdb"})

#成功返回
{
        "ok" : 1,
        "operationTime" : Timestamp(1616046772, 1),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1616046772, 10),
                "signature" : {
                        "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
                        "keyId" : NumberLong(0)
                }
        }
}

创建分片规则--hash分片

mongos> sh.shardCollection("testdb.t",{id:"hashed"})

#成功返回
{
        "collectionsharded" : "testdb.t",
        "collectionUUID" : UUID("1c2b9ee9-e8bc-449e-bfb9-f2a87d60a7d9"),
        "ok" : 1,
        "operationTime" : Timestamp(1616046791, 13),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1616046791, 13),
                "signature" : {
                        "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
                        "keyId" : NumberLong(0)
                }
        }
}

插入测试数据

mongos> use testdb
#成功返回
switched to db testdb
mongos> for(i=1;i<=1000;i++){db.t.insert({id:i,name:"Leo"})}
#成功返回
WriteResult({ "nInserted" : 1 })

查看数据分片情况

mongos> sh.status()

#部分参数
databases:
 {  "_id" : "testdb",  "primary" : "shard3",  "partitioned" : true }
                testdb.t
                        shard key: { "id" : "hashed" }
                        unique: false
                        balancing: true
                        chunks:
                                shard1  2
                                shard2  2
                                shard3  2
                        { "id" : { "$minKey" : 1 } } -->> { "id" : NumberLong("-6148914691236517204") } on : shard1 Timestamp(3, 2)
                        { "id" : NumberLong("-6148914691236517204") } -->> { "id" : NumberLong("-3074457345618258602") } on : shard1 Timestamp(3, 3)
                        { "id" : NumberLong("-3074457345618258602") } -->> { "id" : NumberLong(0) } on : shard2 Timestamp(3, 4)
                        { "id" : NumberLong(0) } -->> { "id" : NumberLong("3074457345618258602") } on : shard2 Timestamp(3, 5)
                        { "id" : NumberLong("3074457345618258602") } -->> { "id" : NumberLong("6148914691236517204") } on : shard3 Timestamp(3, 6)
                        { "id" : NumberLong("6148914691236517204") } -->> { "id" : { "$maxKey" : 1 } } on : shard3 Timestamp(3, 7)

可以看到id为testdb的数据库，数据的存储方式。不明显的话，也可以通过navicat连接mongo查看数据存储

同一集群下的数据库数据

数据库

分片下的数据库数据

数据库

到此，分片服务器的部署算是基本完成了。感兴趣的小伙伴也可以测试一下testdb.users集合以id列为shard key（片键），为了测试数据方便观察，可以先设置一下chunksize

mongos> use config
mongos> db.settings.save({_id:"chunksize", value: 1 })
WriteResult({ "nMatched" : 0, "nUpserted" : 1, "nModified" : 0, "_id" : "chunksize" })
mongos> db.settings.find()
{"_id" : "chunksize", "value" : 1}

接下来就是创建集合，设置片键，插入数据

mongos> use admin
mongos> sh.shardCollection("testdb.users",{id:1,name:1})
{
        "collectionsharded" : "testdb.users",
        "collectionUUID" : UUID("01ce680c-7b25-4977-8e34-8e10c10318eb"),
        "ok" : 1,
        "operationTime" : Timestamp(1616046916, 3),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1616046916, 9),
                "signature" : {
                        "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
                        "keyId" : NumberLong(0)
                }
        }
}
mongos> use testdb
mongos> for(i=1;i<=100000;i++){db.users.insert({id:i,name:"Leo"+i})}
#这个过程有点久，耐心等一会
WriteResult({ "nInserted" : 1 })

查看数据

mongos> sh.status()

#部分参数
databases:
 {  "_id" : "testdb",  "primary" : "shard3",  "partitioned" : true }
                testdb.t
                        shard key: { "id" : "hashed" }
                        unique: false
                        balancing: true
                        chunks:
                                shard1  2
                                shard2  2
                                shard3  2
                        { "id" : { "$minKey" : 1 } } -->> { "id" : NumberLong("-6148914691236517204") } on : shard1 Timestamp(3, 2)
                        { "id" : NumberLong("-6148914691236517204") } -->> { "id" : NumberLong("-3074457345618258602") } on : shard1 Timestamp(3, 3)
                        { "id" : NumberLong("-3074457345618258602") } -->> { "id" : NumberLong(0) } on : shard2 Timestamp(3, 4)
                        { "id" : NumberLong(0) } -->> { "id" : NumberLong("3074457345618258602") } on : shard2 Timestamp(3, 5)
                        { "id" : NumberLong("3074457345618258602") } -->> { "id" : NumberLong("6148914691236517204") } on : shard3 Timestamp(3, 6)
                        { "id" : NumberLong("6148914691236517204") } -->> { "id" : { "$maxKey" : 1 } } on : shard3 Timestamp(3, 7)
                testdb.users
                        shard key: { "id" : 1, "name" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                shard1  4
                                shard2  3
                                shard3  2
                        { "id" : { "$minKey" : 1 }, "name" : { "$minKey" : 1 } } -->> { "id" : 2, "name" : "Leo2" } on : shard1 Timestamp(2, 0)
                        { "id" : 2, "name" : "Leo2" } -->> { "id" : 20166, "name" : "Leo20166" } on : shard2 Timestamp(5, 1)
                        { "id" : 20166, "name" : "Leo20166" } -->> { "id" : 30248, "name" : "Leo30248" } on : shard3 Timestamp(4, 1)
                        { "id" : 30248, "name" : "Leo30248" } -->> { "id" : 42668, "name" : "Leo42668" } on : shard3 Timestamp(3, 3)
                        { "id" : 42668, "name" : "Leo42668" } -->> { "id" : 52750, "name" : "Leo52750" } on : shard2 Timestamp(4, 2)
                        { "id" : 52750, "name" : "Leo52750" } -->> { "id" : 64041, "name" : "Leo64041" } on : shard2 Timestamp(4, 3)
                        { "id" : 64041, "name" : "Leo64041" } -->> { "id" : 74123, "name" : "Leo74123" } on : shard1 Timestamp(5, 2)
                        { "id" : 74123, "name" : "Leo74123" } -->> { "id" : 85414, "name" : "Leo85414" } on : shard1 Timestamp(5, 3)
                        { "id" : 85414, "name" : "Leo85414" } -->> { "id" : { "$maxKey" : 1 }, "name" : { "$maxKey" : 1 } } on : shard1 Timestamp(5, 4)

好了，接下来就自己去观察发现吧。

你瞅口舍灬
关注
专栏目录
【MongoDB】在windows平台下搭建mongodb的分片集群(二)
夜深人静后的码农
11-08 5078
在上一片博客中我们讲了Mongodb数据库中分片集群的主要原理。在本篇博客中我们主要讲描述分片集群的搭建过程。配置分片集群主要有两个步骤，第一启动所有需要的mongod和mongos进程。第二步就是启动一个mongos与集群通信。下面我们一步步来描述集群的搭建过程。 图1-1  MongoDB分片集群中的组件 图 1-2 由实例分片集群构成的进程全貌 备注：以上两
mongodb 集群+分片配置（windows）
铃兰丶物语
03-23 2966
mongodb简单分片解决了海量存储和动态扩容的问题，但在实际生产环境需要能高可靠、高可用。因此要有一个Replica Sets + Sharding的解决方案，对分片做集群。 Shard: 使用 Replica Sets，确保每个数据节点都具有备份、自动容错转移、自动恢复能力。 Config: 使用 3 个配置服务器，确保元数据完整性。 Route: 使用 3 个路由进程，实现负载平衡，提高客户端接入性能。
Windows下mongodb分片集群模拟搭建
qq_37751844的博客
12-24 248
1.先停掉本地mongodb 服务 2.规划 mongodb两个分片：shard-a shard-b、每个分片两个副本（三份数据）shard-a:rs-a-1、rs-a-2、rs-a-3,shard-b:rs-b-1、rs-b-2、rs-b-3 3.新建7个文件夹rs-a-1、rs-a-2、rs-a-3、rs-b-1、rs-b-2、rs-b-3、log，分别存放7个（2*3+1）副本的数据以及产生...
Windwos下搭建MongoDB集群
Korbin的博客
07-14 1459
文章目录1.下载MongoDB2.集群描述 1.下载MongoDB 去MongoDB官网下载解压版免安装的压缩包，https://www.mongodb.com/try/download/community： 2.集群描述 在同一台Windows机上安装三个MongoDB实例，1主(27018)，1从(27019)，1裁决(27020)。MongoDB版本为4.4.6，4.x支持事务，要求是在集群模式下。 ...
单台windows搭建mongoDb主从集群
06-01
NULL 博文链接：https://ljlowkey.iteye.com/blog/2113520
python初中级开发面经(持续更新2020-3-7)
weixin_45163798的博客
03-12 6527
前言：欢迎各位留言补充遗漏的知识点，本文适用于初中级开发求职~ 文章目录0. 开发者(程序猿)tip(杂)1.游戏后端架构设计1.1 设计方案1.2 web服务架构1.3 运维监控2 面试控场2.1 技术面2.1.1 专业能力2.1.2 综合素质2.2 leader面2.3 HR面2.4 自我介绍2.5 职业规划2.6 离职原因（丧命题）2.7 公司认同3 python3.1 语言特点3.1.1 ...
超详细面试准备（10分钟打遍所有初级后端开发面试）
weixin_44540766的博客
02-23 4661
面试知识汇总 如何介绍项目： https://www.sohu.com/a/259724527_775404 自我介绍：https://www.jianshu.com/p/008fc86a1f28 4W字的后端面试知识点总结： https://www.cnblogs.com/aobing/p/12849591.html 后端技术框架： https://www.cnblogs.com/loren-Yang/p/11073536.html 数据结构 Java HashMap原理： https://yikun.g
迈向大规模应用之路：使用Substrate实现基于存储共识的链下计算范式
MixWeb3 博客
11-15 1万+
前言 一款大众意义上成功的 Web2.0 To C 应用，至少应该在百万月活量级。我们熟知的顶级的 Web2.0 应用 Twitter, Google, Facebook, WeChat, Tiktok 等，月活都在 10 亿量级以上。也就是说，面向 C 端的应用，必需搞定高并发及大数据量存储和检索，以及其它一些东西。 而我们来看看目前基于区块链的明星应用，截止目前（成文时：2021.10.15）： ● Audius，目前月活 400 万用户，号称建立在以太坊和 Solana 之上，具体其使用链的..
Win10 64位+mongodb集群搭建
05-04
NULL 博文链接：https://baobeituping.iteye.com/blog/2424965
2022年面试，整理全网初、中、高级常见 Java 面试题
q66562636的博客
07-01 2263
面试题答案见微信小程序 “Java 精选面试题”，3000 + 道面试题。内容持续更新中包含基础、集合、并发、JVM、Spring、Spring MVC、Spring Boot、Spring Cloud、Dubbo、MySQL、Redis、MyBaits、Zookeeper、Linux、数据结构与算法、项目管理工具、消息队列、设计模式、Nginx、常见 BUG 问题、网络编程等。————————————————面向对象编程有哪些特征？一、抽象和封装类和对象体现了抽象和封装抽象就是解释类与对象之间关系的词。类
JavaEE知识体系
热门推荐
yuh2012的博客
07-11 2万+
1 1.文件上传下载 1.1 文件上传 1.1.1 文件上传的作用 例如网络硬盘！就是用来上传下载文件的。 在智联招聘上填写一个完整的简历还需要上传照片呢。 1.1.2 文件上传对页面的要求 1.必须使用表单，而不能是超链接； 2.表单的method必须是POST，而不能是GET； 3.表单的enctype必须是multipart/form-data； 4.在表单中添加file表
MongoDB windows基础配置及集群搭建
极客神殿
08-16 2041
由于公司业务的发展MSSQL已处于瓶颈。因为没钱买牛逼服务器只能靠软件来实现最大优化了。原来的系统架构如下图： 现在准备把读写数据库和只读数据换成Nosql数据库。最终选择了Mongodb. 下面开始了Mongodb的学习。 Mongodb下载：https://www.mongodb.org/downloads?_ga=1.159678843.794950141.1434346788 2.具体安装
MongoDB系列—— Window 搭建Mongodb 集群
weixin_34392843的博客
11-10 228
Mongodb的集群方式的搭建有三种：Replica Set / Sharding / Master-Slaver。这里只说明最简单的集群搭建方式（Replica Set） Replica Set Mongodb(M)表示主节点，Mongodb(S)表示备节点，Mongodb(A)表示仲裁节点。主备节点存储数据，仲裁节点不存储数据。客户端同时连接主节点与备节点，不连接仲裁节点。...
mongodb 简单分片配置（windows）
铃兰丶物语
03-21 1734
mongodb 简单分片配置（windows） 分片，简单来说就是将海量数据做水平扩展的数据库集群系统，通过多台服务器分配数据。 使用分片技术的根本原因在于垂直扩展数据库的费用过于昂贵并且有扩展上限；其次水平扩展可以提供更好的性能，单个服务器的配置可以不是很高并且磁盘IO的压力相对来说更小。
Windows环境下MongoDB分片集群配置
JqloveJH的博客
09-22 1588
Windows环境下MongoDB分片集群配置
windows环境下mongodb 5.0.9分片集群环境搭建
liaomingwu的专栏
06-24 1194
windows环境下mongodb 5.0.9分片集群环境搭建
在Windows系统上搭建MongoDB-这篇文章刚刚好
最新发布
qq_41853447的博客
03-17 1163
在Windows系统上搭建MongoDB集群
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值