MongoDB分布式集群环境搭建_mongodb分布式场景

本文详细介绍了MongoDB的分片原理,包括分片的基本思想、片键的概念,以及如何通过本地模拟实现分片的过程。重点讲解了如何设置片键来决定数据分布,并演示了如何配置mongos和添加分片节点。
摘要由CSDN通过智能技术生成

第二节分片的原理和思想

MongoDB分片的基本思想就是将集合切分成小块。这些块分散到若干片里面,每个片只负责总数据的一部分。

对于客户端来说,无需知道数据被拆分了,也无需知道服务端哪个分片对应哪些数据。数据在分片之前需要运行一个路由进程,进程名为mongos。这个路由器知道所有数据的存放位置,知道数据和片的对应关系。对客户端来说,它仅知道连接了一个普通的mongod,在请求数据的过程中,通过路由器上的数据和片的对应关系,路由到目标数据所在的片上,如果请求有了回应,路由器将其收集起来回送给客户端

第三节分片的简单实现

1.片键的概念

设置分片时,需要从集合里面选一个键,用该键的值作为数据拆分的依据。这个键称为片键(shard key)。{department:“IT”,name:“zhangsan”},{department:“HR”,name:“lisi”},{department:“SUPPORT”,name:“zhaowu”}

以该数据为例,表示的是职员名字以及所在的部门,假若我们设置部门(department)为片键,那么第一片可能存放名称以字母A-F开头的部门,第二片存放名称以GP开头的部门,第三片存QZ,如此类推。随着添加或者删除片,MongoDB会重新平衡数据,使每片的流量都比较均衡,数据量也在合理范围内。

2.本地模拟实现

a.首先mongod开启服务端3个节点,端口分别为8080,8081,8082

b.开启config服务器 。mongos要把mongod之间的配置放到config服务器里面,所以首先开启它,这里就使用8083端口。 命令为:mongod --dbpath E:\sharding\config_node --port 8083

c、开启mongos服务器 。端口8084,同时指定下config服务器。命令为:mongos --port 8084 --configdb=127.0.0.1:8083

d.路由指定服务端节点。客户端直接跟mongos打交道,也就说明我们要连接mongos服务器,然后将8080,8081,8082的mongod交给mongos,添加分片也就是addshard()。需要进到路由节点的admin数据库进行配置。allowLocal表示该服务端节点,可被客户端直接连接而无需经过路由。

db.runCommand({“addshard”:“127.0.0.1:8080”,allowLocal:true})

最后

🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。
🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。
🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里无偿获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

以下是搭建MongoDB分布式集群的步骤: 1.下载MongoDB二进制文件并解压缩到三台服务器上。 2.在三台服务器上创建数据目录和日志目录,并分别启动三个配置服务器。 ```shell # 创建数据目录和日志目录 mkdir -p /data/mongodb/configdb /data/mongodb/shard1/rs0 /data/mongodb/shard2/rs0 /data/mongodb/shard3/rs0 mkdir -p /var/log/mongodb/configdb /var/log/mongodb/shard1/rs0 /var/log/mongodb/shard2/rs0 /var/log/mongodb/shard3/rs0 # 启动三个配置服务器 mongod -f /home/mongodb/conf/config.conf ``` 3.在三台服务器上启动三个路由器。 ```shell mongos --configdb configserver1:27019,configserver2:27019,configserver3:27019 ``` 4.在三台服务器上启动三个分片服务器。 ```shell # 启动分片服务器1 mongod --shardsvr --replSet rs0 --dbpath /data/mongodb/shard1/rs0 --logpath /var/log/mongodb/shard1/rs0.log --port 27017 # 启动分片服务器2 mongod --shardsvr --replSet rs0 --dbpath /data/mongodb/shard2/rs0 --logpath /var/log/mongodb/shard2/rs0.log --port 27018 # 启动分片服务器3 mongod --shardsvr --replSet rs0 --dbpath /data/mongodb/shard3/rs0 --logpath /var/log/mongodb/shard3/rs0.log --port 27019 ``` 5.在其中一个分片服务器上初始化副本集。 ```shell mongo --port 27017 rs.initiate() ``` 6.将其他两个分片服务器加入到副本集中。 ```shell rs.add("shard2:27018") rs.add("shard3:27019") ``` 7.将三个分片服务器添加到路由器中。 ```shell mongos> sh.addShard("rs0/shard1:27017,shard2:27018,shard3:27019") ``` 至此,MongoDB分布式集群搭建完成。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值