MongoDB副本集和分片集群搭建以及基础概念

最新推荐文章于 2024-08-14 23:49:50 发布
最新推荐文章于 2024-08-14 23:49:50 发布
阅读量407 收藏
点赞数 1
分类专栏： MongoDB 文章标签： 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35059264/article/details/118181876
版权

勿以浮沙筑高台

基础准备：
搭建三台Linux服务器，其中109配置mongodb。见文章：

Linux下MongoDB安装

副本集搭建

MongoDB集群搭建

  1. 配置conf配置文件
    # mongod.conf
# for documentation of all options, see:
#   http://docs.mongodb.org/manual/reference/configuration-options/
# where to write logging data
# 日志文件路径配置.
systemLog:        
 destination: file
 logAppend: true
 path: /usr/local/mongodb/log/mongod.log
# Where and how to store data.
# 数据文件路径配置.
storage:
 dbPath: /usr/local/mongodb/data
 journal:
   enabled: true
# engine:
# wiredTiger:
# how the process runs
processManagement:
# fork代表后台运行
 fork: true # fork and run in background
 pidFilePath: /var/run/mongodb/mongod.pid # location of pidfile
 timeZoneInfo: /usr/share/zoneinfo
# network interfaces
net:
# 端口
 port: 27017
 # bindIp改为任意IP访问
 bindIp: 0.0.0.0 # Enter 0.0.0.0,:: to bind to all IPv4 and IPv6 addresses or, 
# alternatively, use the net.bindIpAll setting.
### 添加授权，授权要注释掉
# security:
#  authorization: enabled
### 副本集参数
replication:
 replSetName: rs0
  2. 将文件发送至108,107，2台机器
    scp -r /usr/local/mongodb/ root@192.168.31.107:/usr/local
scp -r /usr/local/mongodb/ root@192.168.31.108:/usr/local
  3. 创建进程文件路径，进程文件路径是默认不创建的，三台都要创建
    mkdir -p /var/run/mongodb
  4. 启动三台服务器
    /usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/mongod.conf
  5. 启动客户端，通过IP链接，不要直接启动，直接启动链接的是127.0.0.1.外网访问不到
     /usr/local/mongodb/bin/mongo 192.168.31.109:27018
  6. 初始化链接，建立主从关系
    ##第一种方式
  rs.initiate();
  rs.add("192.168.31.107:27017");
  rs.add("192.168.31.108:27017");

##第二种方式
>rs.initiate({ _id:"rs0", members:[
 {_id:0,host:"192.168.31.109:27017"},
 {_id:1,host:"192.168.31.108:27017"},
 {_id:2,host:"192.168.31.107:27017"}]
 }
 )
  7. 查看主从关系
     rs.status()
  8. 验证是否成功
    use testdb
db.users.save({name:"张三",age:19});
    在从机器上启动客户端并执行脚本，开启查询配置
    /usr/local/mongodb/bin/mongo 192.168.31.108:27017
db.getMongo().setSlaveOk();    #开启查询配置
use testdb
db.users.find()
    2台机子查询出数据即成功。 在这里插入图片描述

分片集搭建

基础概念

同样准备3台Linux虚拟机，分别是109，108，107。
因为理解不像主从关系这么简单，因此画了个图：
在这里插入图片描述
在mongodb集群中有三个集群结构。

路由集群(mongos)：
负责请求消息的分发与每个分片集群都有关系，并与配置服务的主集群有关系。将请求分发到每一个shard上。

配置服务集群(coing server)：
主要是负责分片数据和路由数据的配置文件的管理与每一个路由和每个分片的主有联系，当配置服务发生变化会通知config更新。mongos 本身没有物理存储分片服务器和数据路由信息,只是缓存在内存里,配置服务器则实际存储这些数据。mongos 第一次启动或者关掉重启就会从 config server 加载配置信息,以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态,这样mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器,因为它存储了分片路由的元数据,这个可不能丢失!就算挂掉其中一台,只要还有存货,mongodb 集群就不会挂掉。

分片集群(shard)：
负责数据的分片。比如750MB的数据，分片下来就是250MB的数据，减少数据库的压力

配置服务器（configs-server）配置

  1. 创建文件夹
    #	创建集群文件夹
/usr/local/mongodb-cluster/
#	创建分片文件夹
/usr/local/mongodb-cluster/shard/
/usr/local/mongodb-cluster/shard/log   #分片日志
/usr/local/mongodb-cluster/shard/config    #分片配置文件夹
/usr/local/mongodb-cluster/shard/data     #分片进程文件文件夹
#	创建配置服务器文件夹
/usr/local/mongodb-cluster/configs/
/usr/local/mongodb-cluster/configs/log   #分片日志
/usr/local/mongodb-cluster/configs/config    #分片配置文件夹
/usr/local/mongodb-cluster/configs/data     #分片进程文件文件夹
#	创建路由文件夹
#	日志
/usr/local/mongodb-cluster/mongos/log
/usr/local/mongodb-cluster/mongos/conf
#	将mongodb源文件copy到集群文件夹下
cp /usr/local/mongodb/   /usr/local/mongodb-cluster
  2. 配置服务启动文件
    cd /usr/local/mongodb-cluster/configs/conf/
#编辑配置文件
vim config.conf

    systemLog:
 destination: file
 path: "/usr/local/mongodb-cluster/configs/log/config-server.log"
 logAppend: true
storage:
 journal:
   enabled: true
 dbPath: "/usr/local/mongodb-cluster/configs/data/"
net:
# 真实环境这里改为本机IP，这里的改为让任意访问
 bindIp: 0.0.0.0   
 port: 27018
replication:
 oplogSizeMB: 2048
 replSetName: configs
sharding:
 clusterRole: configsvr 
processManagement:
 fork: true
  3. 将整个mongodb-cluster集群文件夹发送到另外2台服务器上
    scp -r /usr/local/mongodb-cluster root@192.168.31.108:/usr/local/
scp -r /usr/local/mongodb-cluster root@192.168.31.107:/usr/local/
  4. 启动3台配置服务器(configs-server)主机
    /usr/local/mongodb-cluster/mongodb/bin/mongod -f /usr/local/mongodb-cluster/configs/conf/config.conf
  5. 登录任意一台服务器主机。添加configs-server的主从关系
    #	登录操作客户端
/usr/local/mongodb-cluster/mongodb/bin/mongo --host 192.168.31.109 --port 27018
#	配置主从关系
rs.initiate({_id:"configs",members:[{_id:0,host:"192.168.31.109:27018"},{_id:1,host:"192.168.31.107:27018"}, {_id:2,host:"192.168.31.108:27018"}]})
    配置成功
    在这里插入图片描述
    #	查看配置状态
rs.status();

分片服务器(shard)配置

  1. 编写配置文件，这样的配置文件修改为三份。

    #	
cd /usr/local/mongodb-cluster/shard/config/
#	
vim shard1.conf
#	
vim shard2.conf
#
vim shard3.conf

    systemLog:
   destination: file
   	#	这里需要根据配置更改   改
   path: "/usr/local/mongodb-cluster/shard/log/shard1.log"
   logAppend: true
storage:
   journal:
     enabled: true
   # 这里需要根据配置更改   改
   dbPath: "/usr/local/mongodb-cluster/shard/data/shard1"
processManagement:
   fork: true
net:
#	改为任意访问IP
   bindIp: 0.0.0.0
#	这里需要根据配置更改   改
   port: 27001
setParameter:
   enableLocalhostAuthBypass: false
replication:
# 分片集群ID    改
   replSetName: "rs1"
sharding:
#角色 
   clusterRole: shardsvr

  2. 将配置文件发送到其他2台电脑上

    scp -r /usr/local/mongodb-cluster/shard/config/  root@192.168.31.107:/usr/local/mongodb-cluster/shard/config/

scp -r /usr/local/mongodb-cluster/shard/config/  root@192.168.31.108:/usr/local/mongodb-cluster/shard/config/

  3. 启动分片服务，一台机子上3个服务。（三台机子都要执行这个命令）

    /usr/local/mongodb-cluster/mongodb/bin/mongod -f /usr/local/mongodb-cluster/shard/config/shard1.conf
/usr/local/mongodb-cluster/mongodb/bin/mongod -f /usr/local/mongodb-cluster/shard/config/shard2.conf
/usr/local/mongodb-cluster/mongodb/bin/mongod -f /usr/local/mongodb-cluster/shard/config/shard3.conf

  4. 任意登录2700X端口，服务器客户端，给分片服务器添加主从关系。

    #	登录 27001 分片服务
/usr/local/mongodb-cluster/mongodb/bin/mongo --host 192.168.31.109 --port 27001
#	添加主从关系
rs.initiate({_id:"rs1",members:[{_id:0,host:"192.168.31.109:27001"},{_id:1,host:"192.168.31.108:27001"},{_id:2,host:"192.168.31.107:27001"}]})

#	登录 27002分片服务
/usr/local/mongodb-cluster/mongodb/bin/mongo --host 192.168.31.109 --port 27002
#	添加主从关系
rs.initiate({_id:"rs2",members:[{_id:0,host:"192.168.31.109:27002"},{_id:1,host:"192.168.31.108:27002"},{_id:2,host:"192.168.31.107:27002"}]})

#	登录 27003分片服务
/usr/local/mongodb-cluster/mongodb/bin/mongo --host 192.168.31.109 --port 27003
#	添加主从关系
rs.initiate({_id:"rs3",members:[{_id:0,host:"192.168.31.109:27003"},
{_id:1,host:"192.168.31.108:27003"},{_id:2,host:"192.168.31.107:27003"}]})

    成功：在这里插入图片描述
    上面：搭建了**分片(shard)和配置服务器集群(configs-server)**下面搭建路由服务

路由服务(mongos)配置

  1. 配置mongos配置文件

    #
cd /usr/local/mongodb-cluster/mongos/conf/
#	vim
vim mongos.conf

    systemLog:
 destination: file
 path: "/usr/local/mongodb-cluster/mongos/log/mongos.log"
 logAppend: true
net:
 bindIp: 0.0.0.0
 port: 27017
sharding:
 configDB: configs/192.168.31.109:27018,192.168.31.108:27018,192.168.31.107:27018
processManagement:
 fork: true

  2. 将mongos配置文件，发送当另外2台主机上

    scp -r /usr/local/mongodb-cluster/mongos/ root@192.168.31.108:/usr/local/mongodb-cluster/mongos/
scp -r /usr/local/mongodb-cluster/mongos/ root@192.168.31.107:/usr/local/mongodb-cluster/mongos/

  3. 三台启动路由mongos

    /usr/local/mongodb-cluster/mongodb/bin/mongos -f /usr/local/mongodb-cluster/mongos/conf/mongos.conf

  4. 登录一台服务器

    #登录一个路由
/usr/local/mongodb-cluster/mongodb/bin/mongo --host 192.168.31.109 --port 27017 
#切换到admin
use admin
#添加切片集群	 
sh.addShard("rs1/192.168.31.109:27001,192.168.31.108:27001,192.168.31.107:27001")
sh.addShard("rs2/192.168.31.109:27002,192.168.31.108:27002,192.168.31.107:27002")
sh.addShard("rs3/192.168.31.109:27003,192.168.31.108:27003,192.168.31.107:27003")

    成功 在这里插入图片描述
    这里解释一下为什么只用在一个路由配置，因为我们配置configs-server集群，集群会自动的帮助我们同步消息。

  5. 启用数据库分片
    需要对哪一个数据库进行分片
    对哪一个表那个字段作为哈希分片算法

    sh.enableSharding("tests")  #需要对哪一个数据库进行分片
sh.shardCollection("tests.user",{"id":"hashed"})   #对哪一个表那个字段作为哈希分片算法

测试

  1. 测试

    use tests
switched to db tests
for(i=1;i<=5000;i++){db.user.insert({"id":i,"name":"mr_fu"+i})}
WriteResult({ "nInserted" : 1 })

    Navicat链接集群查询成功！！！

    在这里插入图片描述

    sh.status()  #查看分片情况

    在这里插入图片描述

负差生
关注
专栏目录
MongoDB 主从 (副本集) 和分片集群的概念
weixin_41335923的博客
04-28 1853
MongoDB 主从 (副本集) 和分片集群的概念
mongodb 3.4 集群搭建：分片+副本集
weixin_34356138的博客
01-21 899
mongodb是最常用的nodql数据库，在数据库排名中已经上升到了前六。这篇文章介绍如何搭建高可用的mongodb（分片+副本）集群。 在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。 相关概念 先来看一张图： 从图中可以看到有四个组件：mongos、config server、shard、replica set。 mong...
mongodb分片集群搭建
最新发布
wutongyuWxc的博客
08-14 795
分片集群2: (10.168.2.138:27012、10.168.4.204:27012、10.168.4.205:27012)分片集群1:（10.168.2.138:27011、10.168.4.204:27011、10.168.4.205:27011）第一步：添加mongodb yum仓库 : /etc/yum.repos.d/mongodb-org.repo。：在三台服务器上分别创建分片配置文件： /etc/mongod-cfg.conf。：在10.168.2.138服务器上，执行分片集初始化。
mongodb副本集和分片
chumian8751的博客
03-29 189
1.mongodb副本集概念 mongodb的复制至少需要两个节点。其中一个是主节点，负责数据库写操作，其余的都是从节点，负责复制主节点上的数据以及可以进行读操作。 mongodb各个节点常见的搭配方式为：一主一从、一主多从。 主节点记录在其上的所有操作oplog，从节点定期轮询主节点获...
MongoDB 分片副本集集群搭建
这里将承载一段最初的记忆
02-28 228
MongoDB 分片副本集集群搭建 配置准备： 三台机器： A(193.168.10.101) B(193.168.10.102) C(193.168.10.103) MongoDB 安装目录:/usr/local/mongodb MongoDB 数据库目录:/usr/local/mongodb/data ...
【MongoDB】副本集 & 分片集群
茶色喵的博客
11-13 5042
MongoDB 中的副本集（Replica Sets）是一组维护相同数据集的MongoDB服务。副本集可提供冗余和高可用性，是所有生产部署的基础。分片（sharding）是一种跨多台机器分布数据的方法，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
Mongodb副本集和分片示例详解
09-09
#### 分片集群搭建 搭建分片集群通常包括配置服务器（Config Server）、路由服务器（Mongos）和分片服务器。配置服务器存储分片信息，路由服务器处理查询路由，分片服务器存储数据。你可以参考文章[分片加副本集搭建...
Mongodb分片副本集集群搭建
04-04
MongoDB分片副本集集群搭建的知识点包含了以下几个方面： 1. MongoDB分片架构的基本组成：MongoDB分片架构由mongos（路由服务器）、config-server（配置服务器）和shard（分片服务器）三部分组成。mongos负责作为...
mongodb3.4集群搭建实战之高可用的分片+副本集
09-09
在MongoDB 3.4版本中，构建高可用的分片+副本集集群是提高数据库性能和容错能力的重要手段。本篇文章将深入探讨如何搭建这样的集群，并介绍相关的概念和技术。 **前言** MongoDB 在数据库领域中的地位日益提升，...
k8s 安装 mongodb 分片（Sharding）+ 副本集（Replica Set）
04-14
本解决方案通过使用 Kubernetes 部署 MongoDB 分片（Sharding）和副本集（Replica Set），从而实现 MongoDB 集群的自动化管理和高可用性。 在本解决方案中，我们首先需要安装 Kubernetes 环境，并且需要准备好 NFS ...
centos7+mongodb 3.4 集群搭建：分片+副本集
12-13
centos7.0+mongodb 3.4 集群搭建：分片+副本集。3台虚拟机。如有问题可留言。
navicat 连接mysql、mongodb工具
11-24
navicat 连接mysql、mongodb工具，可以方便快捷操作mysql 8版本、mongodb 4版本
MongoDB安装
qq_23580297的博客
06-04 274
参考文章：https://blog.csdn.net/kevinmcy/article/details/82712074 https://blog.csdn.net/warrah/article/details/84107049 好文章： 搭建高可用mongodb集群（一）——配置mongodbhttp://www.lanceyan...
MongoDB的副本集和分片搭建
jxs_hk的博客
01-10 414
本文用的是centOS的三台虚拟机，Ubuntu只需在命令之前加sudo 注意关闭防火墙:systemctl stop firewalld.service 创建MongoDB的配置文件目录 分别在每台机器建立Config，Mongos，配置，Shard1，Shard2，Shard3六个目录，因为Mongos不存储数据，只需要建立日志文件目录即可。 mkdir -p /usr/local/mongodb/conf \ mkdir -p /usr/local/mongodb/mongos/log.
MongoDB副本集和分片集群
weixin_44463473的博客
04-23 781
官方文档 https://www.mongodb.com/docs/manual/reference/method/ MongoDB介绍 https://blog.csdn.net/weixin_44463473/article/details/124333852 MongoDB命令行使用 https://blog.csdn.net/weixin_44463473/article/details/124334979 SpringBoot集成MongoDB MongoDB副本集和...
mongoDB副本集和分片
llilin_的博客
04-28 1087
搭建MongoDB可采取复用主机的方式，两分片式集群部署，有4个数据节点，至少需要4台服务器。
Mongodb的分片和副本集
哆啦咪~fo
05-05 846
mongodb的分片目的很简单，一是为了数据存储，而是为了避免单点故障，提高可靠性和稳定性。 构建mongodb的分片首先至少需要四个mongodb的服务进程，分别扮演不同的角色。一个是config server，一个是Route Process,还需要两个服务作为分片。 分片步骤： 这里将C:\Program Files\MongoDB\Server\3.2\bin路径下的mongod服务作
MongoDB分片修改为副本集
zibuyu886的博客
09-13 1229
添加节点时，以优先级为0，不参与投票的方式添加，因为在添加期间会进行数据同步，新添加的节点与其他成员的数据是不一致的，如果参与投票可能会造成无法选主。rs.reconfig(conf) #更新mongodb副本集的配置，优先权重最高的提升为primary，关闭启动后也为主。显示副本状态正常后可以停掉mongos，配置文件增加keyfile，开启认证，停止所有节点服务，依次启动主从节点。设置各个实例的优先权重，挑选自己想要的实例为主，只有primary可以更改权重配置。主要观察chunk的分布。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值