架构师系列-mongo（十）-集群搭建（一）

最新推荐文章于 2024-06-15 21:30:12 发布
最新推荐文章于 2024-06-15 21:30:12 发布
阅读量213 收藏 2
点赞数 6
分类专栏： 架构师系列 文章标签： mongodb mongodb集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dengwei_dw/article/details/138267244
版权
基础环境准备

安装Docker
创建Docker网络

因为需要使用Docker搭建MongoDB集群，所以先创建Docker网络

docker network create mongo-cluster
docker network ls
 创建挂载目录

我们需要创建对应的挂载目录来存储配置文件以及日志文件

# 创建配置文件目录
mkdir -p /opt/mongodb/mongo-cluster/config-server/conf
# 创建数据文件目录
mkdir -p /opt/mongodb/mongo-cluster/config-server/data/{1..3}
# 创建日志文件目录
mkdir -p /opt/mongodb/mongo-cluster/config-server/logs/{1..3}

[root@linux30 mongodb]# tree -L 3 mongo-cluster/
mongo-cluster/
└── config-server
    ├── conf
    ├── data
    │   ├── 1
    │   ├── 2
    │   └── 3
    └── logs
        ├── 1
        ├── 2
        └── 3
创建密钥文件

因为我们知道搭建的话一定要高可用而且一定要权限这里mongo之间通信采用秘钥文件，所以我们先进行生成密钥文件

# 创建密钥文件
openssl rand -base64 756 > /opt/mongodb/mongo-cluster/config-server/conf/mongo.key
# 设置
chmod 600  /opt/mongodb/mongo-cluster/config-server/conf/mongo.key
创建配置文件

因为有多个容器，配置文件是一样的，我们只需要创建一个配置文件，其他的容器统一读取该配置文件即可

echo "
# 日志文件
storage:
  # mongod 进程存储数据目录，此配置仅对 mongod 进程有效
  dbPath: /data/db
systemLog:
  destination: file
  logAppend: true
  path: /data/logs/mongo.log

#  网络设置
net:
  port: 27017  #端口号
#  bindIp: 127.0.0.1    #绑定ip
replication:
  replSetName: configsvr #副本集名称
sharding:
  clusterRole: configsvr # 集群角色，这里配置的角色是配置节点
security:
  authorization: enabled #是否开启认证
  keyFile: /data/configdb/conf/mongo.key #keyFile路径
"  > /opt/mongodb/mongo-cluster/config-server/conf/mongo.conf
启动容器

启动config-server1
docker run --name config-server1 -d \
--net=mongo-cluster \
--privileged=true \
-v /opt/mongodb/mongo-cluster/config-server:/data/configdb \
-v /opt/mongodb/mongo-cluster/config-server/data/1:/data/db \
-v /opt/mongodb/mongo-cluster/config-server/logs/1:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
启动config-server2
docker run --name config-server2 -d \
--net=mongo-cluster \
--privileged=true \
-v /opt/mongodb/mongo-cluster/config-server:/data/configdb \
-v /opt/mongodb/mongo-cluster/config-server/data/2:/data/db \
-v /opt/mongodb/mongo-cluster/config-server/logs/2:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
启动config-server3
docker run --name config-server3 -d \
--net=mongo-cluster \
--privileged=true \
-v /opt/mongodb/mongo-cluster/config-server:/data/configdb \
-v /opt/mongodb/mongo-cluster/config-server/data/3:/data/db \
-v /opt/mongodb/mongo-cluster/config-server/logs/3:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
[root@linux30 mongodb]# docker ps
CONTAINER ID   IMAGE     COMMAND                  CREATED          STATUS          PORTS       NAMES
57f07f195a37   mongo     "docker-entrypoint.s…"   4 seconds ago    Up 4 seconds    27017/tcp   config-server3
4d1f22f7d025   mongo     "docker-entrypoint.s…"   12 seconds ago   Up 12 seconds   27017/tcp   config-server2
8dc8ce9f7a6a   mongo     "docker-entrypoint.s…"   5 minutes ago    Up 5 minutes    27017/tcp   config-server1
初始化config-server
登录容器
进入第一台容器

docker exec -it config-server1 bash
mongo -port 27017
执行命令
执行以下命令进行MongoDB容器的初始化

rs.initiate(
  {
    _id: "configsvr",
    members: [
      { _id : 1, host : "config-server1:27017" },
      { _id : 2, host : "config-server2:27017" },
      { _id : 3, host : "config-server3:27017" }
    ]
  }
)
创建用户
因为我们需要对用户进行权限管理，我们需要创建用户，这里为了演示，我们创建超级用户 权限是root

use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
搭建Shard1分片组

由于mongos是客户端，所以我们先搭建好config以及shard之后再搭建mongos。

创建挂载目录

 我们先创建shard1挂载目录

# 创建配置文件目录
mkdir -p /opt/mongodb/mongo-cluster/shard1-server/conf
# 创建数据文件目录
mkdir -p /opt/mongodb/mongo-cluster/shard1-server/data/{1..4}
# 创建日志文件目录
mkdir -p /opt/mongodb/mongo-cluster/shard1-server/logs/{1..4}

[root@linux30 mongodb]# tree -L 3 mongo-cluster/
mongo-cluster/
├── config-server
│   ├── conf
│   │   ├── mongo.conf
│   │   └── mongo.key
│   ├── data
│   │   ├── 1
│   │   ├── 2
│   │   └── 3
│   └── logs
│       ├── 1
│       ├── 2
│       └── 3
└── shard1-server
    ├── conf
    ├── data
    │   ├── 1
    │   ├── 2
    │   ├── 3
    │   └── 4
    └── logs
        ├── 1
        ├── 2
        ├── 3
        └── 4
搭建shard1分片组

在同一台服务器上初始化一组分片

创建密钥文件
因为集群只需要一个密钥文件，我们可以将config-server中的密钥文件复制过来

cp /opt/mongodb/mongo-cluster/config-server/conf/mongo.key /opt/mongodb/mongo-cluster/shard1-server/conf/
配置配置文件
因为有多个容器，配置文件是一样的，我们只需要创建一个配置文件，其他的容器统一读取该配置文件即可

echo "
# 日志文件
storage:
  # mongod 进程存储数据目录，此配置仅对 mongod 进程有效
  dbPath: /data/db
systemLog:
  destination: file
  logAppend: true
  path: /data/logs/mongo.log

#  网络设置
net:
  port: 27017  #端口号
#  bindIp: 127.0.0.1    #绑定ip
replication:
  replSetName: shard1 #复制集名称是 shardsvr
sharding:
  clusterRole: shardsvr # 集群角色，这里配置的角色是分片节点
security:
  authorization: enabled #是否开启认证
  keyFile: /data/configdb/conf/mongo.key #keyFile路径
"  > /opt/mongodb/mongo-cluster/shard1-server/conf/mongo.conf

启动shard1-server1
docker run --name shard1-server1 -d \
--net=mongo-cluster \
--privileged=true \
-v /opt/mongodb/mongo-cluster/shard1-server:/data/configdb \
-v /opt/mongodb/mongo-cluster/shard1-server/data/1:/data/db \
-v /opt/mongodb/mongo-cluster/shard1-server/logs/1:/data/logs \
mongo --config /data/configdb/conf/mongo.conf

启动shard1-server2
docker run --name shard1-server2 -d \
--net=mongo-cluster \
--privileged=true \
-v /opt/mongodb/mongo-cluster/shard1-server:/data/configdb \
-v /opt/mongodb/mongo-cluster/shard1-server/data/2:/data/db \
-v /opt/mongodb/mongo-cluster/shard1-server/logs/2:/data/logs \
mongo --config /data/configdb/conf/mongo.conf

启动shard1-server3
docker run --name shard1-server3 -d \
--net=mongo-cluster \
--privileged=true \
-v /opt/mongodb/mongo-cluster/shard1-server:/data/configdb \
-v /opt/mongodb/mongo-cluster/shard1-server/data/3:/data/db \
-v /opt/mongodb/mongo-cluster/shard1-server/logs/3:/data/logs \
mongo --config /data/configdb/conf/mongo.conf


初始化shard1分片组
并且制定第三个副本集为仲裁节点

 docker exec  -it shard1-server1 bin/bash
 mongo -port 27017
登录后进行初始化节点，这里面arbiterOnly:true是设置为仲裁节点

#进行副本集配置
rs.initiate(
     {
         _id : "shard1",
         members: [
             { _id : 0, host : "shard1-server1:27017" },
             { _id : 1, host : "shard1-server2:27017" },
             { _id : 2, host : "shard1-server3:27017",arbiterOnly:true }
        ]
    }
);
创建用户
因为我们需要对用户进行权限管理，我们需要创建用户，这里为了演示，我们创建超级用户 权限是root

use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
查看节点信息
rs.isMaster()
主从复制测试
主节点添加数据

在主节点执行下面的命令

# 创建test数据库
use test;
db.blog.insert({
        "title" : "MongoDB 教程",
        "description" : "MongoDB 是一个 Nosql 数据库",
        "by" : "我的博客",
        "url" : "http://www.baiyp.ren",
        "tags" : [
                "mongodb",
                "database",
                "NoSQL"
        ],
        "likes" : 100
});

use admin
db.auth("root","root")
use test;
db.blog.insert({
        "title" : "MongoDB 教程",
        "description" : "MongoDB 是一个 Nosql 数据库",
        "by" : "我的博客",
        "url" : "http://www.baiyp.ren",
        "tags" : [
                "mongodb",
                "database",
                "NoSQL"
        ],
        "likes" : 100
});
设置从节点可读
use test
db.blog.findOne();
use admin
db.auth("root","root")
use test
db.blog.findOne();
db.setSecondaryOk()
db.blog.findOne();
 主从切换测试

停掉主节点
docker stop shard1-server1
查看从节点信息
我们看刚才的从节点已经变成了主节点

rs.isMaster()
启动停止的节点
docker start shard1-server1
 docker exec  -it shard1-server1 bin/bash
 mongo -port 27017
 扩缩容
扩容节点

新增一个docker节点

 

docker run --name shard1-server4 -d \
--net=mongo-cluster \
--privileged=true \
-v /opt/mongodb/mongo-cluster/shard1-server:/data/configdb \
-v /opt/mongodb/mongo-cluster/shard1-server/data/4:/data/db \
-v /opt/mongodb/mongo-cluster/shard1-server/logs/4:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
从主节点新增节点

use admin
db.auth("root", "root")
rs.add("shard1-server4:27017")
rs.isMaster()
到新增的shard1-server4副本节点查看数据

docker exec  -it shard1-server4 bin/bash
mongo -port 27017
use admin
db.auth("root","root");
use test;
db.setSecondaryOk()
db.blog.find().pretty();
缩容节点
将我们刚才添加的模拟shard1-server4节点删除，在主节点执行以下命令

rs.remove("shard1-server4:27017")
rs.isMaster()

IT趣闻史
关注
  • 6
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mongo 集群部署
weixin_42023748的博客
07-28 316
为例： https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-ubuntu2004-5.0.5.tgz。配置服务器建议部署为包含3个成员的副本集模式，出于测试目的，您可以创建一个单成员副本集；出于测试目的，您可以创建一个单成员副本集；为每个分片节点创建配置、数据、日志和Key目录，其他节点操作一致。为每个节点创建配置、数据、日志和Key目录，其他节点操作一致。为每个节点创建配置、日志和Key目录，其他节点操作一致。节点目录，多个以此类推。
MongoDB数据库简介
大连赵哥的博客
12-05 844
MongoDB数据库简介
手把手教你搭建MongoDB分片式部署集群+实战
Executing_的博客
11-17 4967
MongoDB分片式集群部署实战，构建一个MongoDB的分片集群，需要三个重要组件，分别是分片服务器（Shard Server）、配置服务器（Config Server）、路由服务器（Router Server）。
mongodb 集群安装
最新发布
yangkei
06-15 1077
在各服务器上创建数据目录，使用/data,也可以按特定需求指定目录。
mongodb 分片集群部署
liuyan
08-27 1116
连接任意一台非“arbiterOnly: true”节点shard1，192.168.221.173、192.168.221.174、192.168.221.175分别替换为3台机器的IP地址（建议节点1执行）连接任意一台非“arbiterOnly: true”节点shard2，192.168.221.173、192.168.221.174、192.168.221.175分别替换为3台机器的IP地址（建议节点1执行）3台服务器分别添加配置文件。3台服务器分别添加配置文件。3台服务器分别添加配置文件。
（保姆级）离线安装mongoDB集群
LvFengQi的博客
03-19 729
Replica Set 将数据复制多份保存，不同服务器保存同一份数据，在出现故障时自动切换，实现故障转移。此集群拥有一个主节点和多个从节点，这一点与主从复制模式类似，且主从节点所负责的工作也类似，但是副本集与主从复制的区别在于：当集群中主节点发生故障时，副本集可以自动投票，选举出新的主节点，并引导其余的从节点连接新的主节点，而且这个过程对应用是透明的。
【超详细】手把手教你搭建MongoDB集群搭建
热门推荐
博学谷狂野架构师的博客
07-14 1万+
​ 为解决mongodb在replica set每个从节点上面的数据库均是对数据库的全量拷贝，从节点压力在高并发大数据量的场景下存在很大挑战，同时考虑到后期mongodb集群的在数据压力巨大时的扩展性，应对海量数据引出了分片机制。​ 分片是将数据库进行拆分，将其分散在不同的机器上的过程，无需功能强大的服务器就可以存储更多的数据，处理更大的负载，在总数据中，将集合切成小块，将这些块分散到若干片中，每个片只负载总数据的一部分，通过一个知道数据与分片对应关系的组件mongos的路由进程进行操作。​ 数据库集
sql-to-mongo-db-query-converter:sql-to-mongo-db-query-converter
05-01
sql-to-mongo-db-query-converter sql-to-mongo-db-query-converter可帮助您基于SQL中提供的查询为MongoDb构建查询。玛文向com.github.vincentrussell:sql-to-mongo-db-query-converter添加依赖...
lua-mongo：用于Lua的MongoDB驱动程序
02-03
安装通常涉及克隆项目的Git仓库，如“lua-mongo-master”，然后将其添加到你的Lua路径中。项目通常会提供示例代码和详细的API文档，帮助开发者快速上手。在实践中，你需要理解如何创建MongoClient对象，连接到数据库...
graphene-mongo：石墨烯MongoEngine集成
02-04
这是一个简单的Mongoengine模型，如models.py ： from mongoengine import Document from mongoengine . fields import StringField class User ( Document ): meta = { 'collection' : 'user' } first_name = ...
solr-mongo-importer-1.1.0.jar
01-22
solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar
migrate-mongo：Node中用于MongoDB的数据库迁移工具
02-02
migrate-mongo是在Node.js中运行的MongoDB的数据库迁移工具 安装 $ npm install -g migrate-mongo CLI用法 $ migrate-mongo Usage: migrate-mongo [options] [command] Commands: init initialize a new migration...
mongodb复制集集群部署、测试、选举原理
youcan_doit的博客
07-04 1401
mongodb复制集集群部署、测试、选举原理
硬卷 NoSQL 数据库系列（八）：MongoDB 集群部署与配置实践
民工哥的博客
05-12 856
点关注公众号，回复“1024”获取2TB学习资源！前面介绍了 WT 存储引擎、复制集等相关的知识点。今天我将详细的为大家介绍 MongoDB 集群原理以及维护配置相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！MongoDB副本集介绍MongoDB 的副本集就是主从复制，由于之前3.0版本之前就有主从复制的说法，后来更新迭代，起名叫副本集。副本集建议最少3台机器，一个主及...
【MongoDB】五、MongoDB分片集群的部署
慢热型网友的博客
06-21 4851
2、执行“vi”命令，在配置文件mongodb_shard1.conf mongodb_shard2.conf mongodb_shard3.conf中添加分片服务器1的相关参数（服务器zrz01）4、执行“vi”命令，在配置文件mongodb_shard1.conf mongodb_shard2.conf mongodb_shard3.conf中添加分片服务器1的相关参数（服务器zrz02）2、在服务器nosql01的配置服务器、分片服务器以及路由服务器的日志目录下，创建对应的日志管理文件。
将MongoDB部署到分布式集群（实操）
YHJ
05-13 2421
本教程前面的内容基本涵盖了MongoDB的基本知识，现在在单机环境下操作 MongoDB 已经不存在问题，但是单机环境只适合学习和开发测试，在实际的生产环境中，MongoDB 基本是以集群的方式工作的。集群的工作方式能够保证在生产遇到故障时及时恢复，保障应用程序正常地运行和数据的安全。接下来我们重点介绍 MongoDB 的集群工作方式，以及在集群工作方式下，MongoDB 是如何使用分片和复制的机制来完成对数据的管理和恢复的。本节我们从理论上讲解 MongoDB 分布式集群架构的三种模式，下节《将Mon..
Mongodb集群搭建的三种方式
2401_83412285的博客
04-09 730
我们总是喜欢瞻仰大厂的大神们，但实际上大神也不过凡人，与菜鸟程序员相比，也就多花了几分心思，如果你再不努力，差距也只会越来越大。实际上，作为程序员，丰富自己的知识储备，提升自己的知识深度和广度是很有必要的。
Mongodb集群搭建
失之东隅的博客
02-10 4315
mongodb集群搭建...
spring-data-mongo doInsertBatch MongoWriter定义
05-26
在 Spring Data MongoDB 中，`MongoWriter` 接口用于将对象转换为 MongoDB 文档并插入到集合中。`doInsertBatch` 方法是 `MongoTemplate` 类中的一个方法，用于批量插入数据。 下面是一个简单的示例，展示了如何使用 `MongoWriter` 和 `doInsertBatch` 方法将对象批量插入到 MongoDB 集合中： ```java public class Person { private String name; private int age; // getters and setters } public class PersonWriter implements MongoWriter<Person> { @Override public Document toDocument(Person object, MongoConverter converter) { Document document = new Document(); document.put("name", object.getName()); document.put("age", object.getAge()); return document; } } public class PersonDao { private MongoTemplate mongoTemplate; public void insertBatch(List<Person> persons) { mongoTemplate.execute(Person.class, collection -> { List<Document> documents = new ArrayList<>(); for (Person person : persons) { MongoWriter<Person> writer = new PersonWriter(); Document document = writer.toDocument(person, mongoTemplate.getConverter()); documents.add(document); } collection.insertMany(documents); return null; }); } } ``` 在上面的示例中，`PersonWriter` 类实现了 `MongoWriter` 接口，并重写了 `toDocument` 方法，将 `Person` 对象转换为 MongoDB 文档。`PersonDao` 类中的 `insertBatch` 方法使用 `MongoTemplate` 的 `execute` 方法执行 MongoDB 操作。在该方法内部，首先将传入的 `Person` 对象列表转换为 MongoDB 文档，并将这些文档存储在 `documents` 列表中。最后，使用 `collection.insertMany` 方法将文档批量插入到 MongoDB 集合中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值