mongDB复制集+分片搭建

最新推荐文章于 2024-07-20 15:57:02 发布
最新推荐文章于 2024-07-20 15:57:02 发布
阅读量185 收藏 1
点赞数
分类专栏： 大数据生态1-hadoop NoSql数据库原理与应用 文章标签： mongodb 数据库 linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45976312/article/details/117452120
版权

在这里插入图片描述
集群规划：
有三个复制集 每个复制集有一个路由节点，配置节点，三个分片
(主节点，从节点，仲裁节点)
*****仲裁节点只能选举，不能参与实际的分片
一共有33+32=15个
数据分为3个片，每个片都是一个复制集，分别为shard1,shard2,shard3

  1. 建立存放mongodb的数据文件
    sudo mkdir -p /data/mongodbtest1
    sudo mkdir -p /data/mongodbtest2
    sudo mkdir -p /data/mongodbtest3
  1. 为mongos、config、shard1、shard2、shard3建立目录，
    用来存放数据和日志文件（mongos路由服务器不存储数据，只需建立日志文件）
#/data/mongodbtest1文件目录
sudo mkdir -p /data/mongodbtest1/mongos/log

sudo mkdir -p /data/mongodbtest1/config/data
sudo mkdir -p /data/mongodbtest1/config/log

sudo mkdir -p /data/mongodbtest1/shard11/data
sudo mkdir -p /data/mongodbtest1/shard11/log

sudo mkdir -p /data/mongodbtest1/shard12/data
sudo mkdir -p /data/mongodbtest1/shard12/log

sudo mkdir -p /data/mongodbtest1/shard13/data
sudo mkdir -p /data/mongodbtest1/shard13/log

#/data/mongodbtest2文件目录
sudo mkdir -p /data/mongodbtest2/mongos/log

sudo mkdir -p /data/mongodbtest2/config/data
sudo mkdir -p /data/mongodbtest2/config/log

sudo mkdir -p /data/mongodbtest2/shard21/data
sudo mkdir -p /data/mongodbtest2/shard21/log

sudo mkdir -p /data/mongodbtest2/shard22/data
sudo mkdir -p /data/mongodbtest2/shard22/log

sudo mkdir -p /data/mongodbtest2/shard23/data
sudo mkdir -p /data/mongodbtest2/shard23/log

#/data/mongodbtest3文件目录
sudo mkdir -p /data/mongodbtest3/mongos/log

sudo mkdir -p /data/mongodbtest3/config/data
sudo mkdir -p /data/mongodbtest3/config/log

sudo mkdir -p /data/mongodbtest3/shard31/data
sudo mkdir -p /data/mongodbtest3/shard31/log

sudo mkdir -p /data/mongodbtest3/shard32/data
sudo mkdir -p /data/mongodbtest3/shard32/log

sudo mkdir -p /data/mongodbtest3/shard33/data
sudo mkdir -p /data/mongodbtest3/shard33/log

在这里插入图片描述

3 启动配置服务器，端口设置为：10001,20001,30001

sudo /usr/local/mongodb/bin/mongod --configsvr --dbpath /data/mongodbtest1/config/data --port 10001 --logpath /data/mongodbtest1/config/log/config.log --fork 

sudo /usr/local/mongodb/bin/mongod --configsvr --dbpath /data/mongodbtest2/config/data --port 20001 --logpath /data/mongodbtest2/config/log/config.log --fork 

sudo /usr/local/mongodb/bin/mongod --configsvr --dbpath /data/mongodbtest3/config/data --port 30001 --logpath /data/mongodbtest3/config/log/config.log --fork

在这里插入图片描述
在这里插入图片描述

4 启动mongos路由服务器，端口设置为：10002,20002,30002

sudo /usr/local/mongodb/bin/mongos --configdb localhost:10001,localhost:20001,localhost:30001 --port 10002 --logpath /data/mongodbtest1/mongos/log/mongos.log --fork 

sudo /usr/local/mongodb/bin/mongos --configdb localhost:10001,localhost:20001,localhost:30001 --port 20002 --logpath /data/mongodbtest2/mongos/log/mongos.log --fork 

sudo /usr/local/mongodb/bin/mongos --configdb localhost:10001,localhost:20001,localhost:30001 --port 30002 --logpath /data/mongodbtest3/mongos/log/mongos.log --fork

在这里插入图片描述在这里插入图片描述

5 分别启动各个复制集的分片shard1,shard2,shard3

#shard1,端口号分别为10003，10004，10005
sudo /usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --dbpath /data/mongodbtest1/shard11/data  --logpath /data/mongodbtest1/shard11/log/shard1.log --port 10003 --oplogSize 1024 --fork 


sudo /usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --dbpath /data/mongodbtest1/shard12/data  --logpath /data/mongodbtest1/shard12/log/shard2.log --port 10004 --oplogSize 1024 --fork

sudo /usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --dbpath /data/mongodbtest1/shard13/data  --logpath /data/mongodbtest1/shard13/log/shard3.log --port 10005 --oplogSize 1024 --fork

在这里插入图片描述
在这里插入图片描述

#shard2,端口号分别为20003，20004，20005
sudo /usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --dbpath /data/mongodbtest2/shard21/data  --logpath /data/mongodbtest2/shard21/log/shard1.log --port 20003 --oplogSize 1024 --fork 

sudo /usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --dbpath /data/mongodbtest2/shard22/data  --logpath /data/mongodbtest2/shard22/log/shard2.log --port 20004 --oplogSize 1024 --fork

sudo /usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --dbpath /data/mongodbtest2/shard23/data  --logpath /data/mongodbtest2/shard23/log/shard3.log --port 20005 --oplogSize 1024 --fork

在这里插入图片描述

#shard3,端口号分别为30003，30004，30005
sudo /usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --dbpath /data/mongodbtest3/shard31/data  --logpath /data/mongodbtest3/shard31/log/shard1.log --port 30003 --oplogSize 1024 --fork 

sudo /usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --dbpath /data/mongodbtest3/shard32/data  --logpath /data/mongodbtest3/shard32/log/shard2.log --port 30004 --oplogSize 1024 --fork

sudo /usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --dbpath /data/mongodbtest3/shard33/data  --logpath /data/mongodbtest3/shard33/log/shard3.log --port 30005 --oplogSize 1024 --fork

在这里插入图片描述

6 查看mongod进程：ps -aux |grep mongod

在这里插入图片描述
在这里插入图片描述

7 添加复制集

登录localhost:10003 设置shard1复制集
sudo /usr/local/mongodb/bin/mongo localhost:10003

config = { _id:"shard1", members:[
            {_id:0,host:"localhost:10003"},
            {_id:1,host:"localhost:10004"},
            {_id:2,host:"localhost:10005",arbiterOnly:true}
        ]
    }
rs.initiate(config);

在这里插入图片描述
在这里插入图片描述

登录localhost:20003 设置shard2复制集
sudo /usr/local/mongodb/bin/mongo localhost:20003
use admin
config = { _id:"shard2", members:[
            {_id:0,host:"localhost:20003"},
            {_id:1,host:"localhost:20004"},
            {_id:2,host:"localhost:20005",arbiterOnly:true}
        ]
         }
rs.initiate(config);

在这里插入图片描述
在这里插入图片描述

登录localhost:30003 设置shard3复制集
---
sudo /usr/local/mongodb/bin/mongo localhost:30003
use admin
config = { _id:"shard3", members:[
            {_id:0,host:"localhost:30003"},
            {_id:1,host:"localhost:30004"},
            {_id:2,host:"localhost:30005",arbiterOnly:true}
        ]
         }
rs.initiate(config);
---
* 分别查看复制集配置结果
shard1
shard2
shard3

在这里插入图片描述
在这里插入图片描述

8串联路由服务器：

连接任一台路由服务器：
sudo /usr/local/mongodb/bin/mongo localhost:10002

在这里插入图片描述

串联路由服务器并配置复制集

use admin
db.runCommand( { addshard : "shard1/localhost:10003,localhost:10004,localhost:10005"});

db.runCommand( { addshard : "shard2/localhost:20003,localhost:20004,localhost:20005"});

db.runCommand( { addshard : "shard3/localhost:30003,localhost:30004,localhost:30005"});

在这里插入图片描述

查看分片服务器的配置
db.runCommand( { listshards : 1 } );

在这里插入图片描述

---仲裁节点不会显示

指定test集合使分片生效

db.runCommand( { enablesharding :"test"});

在这里插入图片描述

对test数据库的某一个集合进行分片，片键采用Hash片键（散列分布）

在这里插入图片描述

db.runCommand({shardcollection:"test.userinfo",key:{"_id": "hashed"}})

9 测试分片结果

连接mongos服务器 
sudo /usr/local/mongodb/bin/mongo localhost:10002

在这里插入图片描述

插入数据

在这里插入图片描述在这里插入图片描述

use test
for(var i=0;i<100000;i++){db.userinfo.insert({"username":"user"+i});} 
查看分片情况：
db.userinfo.stats();

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

查看集群状态：
（查看每个片有两个块）：
sh.status();

在这里插入图片描述

查看插入的数据在分片的结果:

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

启动shard1分片10003

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

启动shard1分片2  10004

在这里插入图片描述

启动shard1分片3  10005

在这里插入图片描述

启动shard2分片1   20003

在这里插入图片描述

启动shard2分片2  20004

在这里插入图片描述

启动shard2分片3  20005

在这里插入图片描述

启动shard3分片1  30003

在这里插入图片描述

启动shard3分片2   30004

在这里插入图片描述

启动shard3分片3  30005

在这里插入图片描述

ruowenz
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoDB 复制集 & 分片
Junds0的博客
04-16 2367
在 route 节点（端口21005）的数据库中插入文档（由于插入文档比较大，测评可能需要一两分钟左右的时间），检测其是否分布到他端口的数据库中，成功分片会显示每个端口的文档数量。secondaryPreferred ：在大多数情况下，读操作都是在从节点上进行的，但是当从节点不可用了，读操作会转移到主节点上进行；数据库的数据只有一份的话是极不安全的，一旦数据所在的电脑坏掉，我们的数据就彻底丢失了，所以要有一个备份数据的机制。primary ：默认模式，所有的读操作都在复制集的主节点进行的；
mongodb之分片复制集的搭建
qq_19520877的博客
06-06 349
mongodb 分片是通过路由节点访问分片的节点。路由节点的配置数据存放在配置节点 1.配置并启动config节点集群（高可用配置多个，配置信息一样） #数据库文件位置 dbpath=config/config1 #日志文件位置 logpath=config/logs/config1.log #以追加方式写入日志 logappend=true #以守护进程运行 fork=true bind_ip=0.0.0.0 port=17017 #表示是一个配置服务器 configsvr=true #配置服务器副本集名
第37章：MongoDB-集群--Replica Sets(副本集)---单机的搭建
weixin_30482181的博客
03-18 97
①创建副本集 1:先创建几个存放数据的文件夹,比如在前面的dbs下面创建db1,db2,db3； 同理在前面的logs下面创建logs1,logs2,logs3 2:在启动MongoDB服务器的时候,使用--replSet副本集名称选项,如: ./mongod --dbpath ../dbs/db1 --logpath ../logs/logs1 --port 20001 ...
头歌 MongoDB 复制集 & 分片
weixin_63096282的博客
11-29 2705
db.person.insert({_id:1,name:'王小明',age:20})按esc，然后输入 :wq ,回车。按esc，然后输入 :wq ,回车。按esc，然后输入 :wq ,回车。按esc，然后输入 :wq ,回车。按esc，然后输入 :wq ,回车。按esc，然后输入 :wq ,回车。进入文件内：按A，然后输入下文。进入文件内：按A，然后输入下文。进入文件内：按A，然后输入下文。进入文件内：按A，然后输入下文。进入文件内：按A，然后输入下文。进入文件内：按A，然后输入下文。
educoder MongoDB 复制集 & 分片
m0_56494324的博客
03-24 7720
第2关：MongoDB 复制集搭建 mkdir -p /data/test/db1 /data/test/db2 /data/test/db3 mkdir -p /logs/test touch { /logs/test/mongod1.log /logs/test/mongod2.log /logs/test/mongod3.log } mkdir -p /etc/test touch { /etc/test/mongod1.conf /etc/test/mongod2.conf /etc/tes..
三、MongoDB复制集，分片集群
Xx__WangQi的博客
04-22 1585
一、MongoDB 高可用复制集架构 MongoDB 复制集 MongoDB复制集的主要意义在于实现服务高可用，类似于Redis中的哨兵模式 它主要提供两个方面的功能 1. 数据写入主节点（Primary）时将数据复制到另一个副本节（Secondary）点上 2. 主节点发生故障时自动选举出一个新的替代节点 在实现高可用的同时，复制集实现了其他几个作用 数据分发：将数据从一个区域复制到另一个区域，减少另一个区域的读延迟 读写分离：不同类型的压力分别在不同的节点上执行 异地容灾：在数据.
学习笔记-MongoDB（复制集,分片集集群搭建）
qq_43259860的博客
10-14 1597
什么是复制集？复制集是由一组拥有相同数据集的MongoDB实例做组成的集群。复制集是一个集群，它是2台及2台以上的服务器组成，以及复制集成员包括Primary主节点，Secondary从节点和投票节点。复制集提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性，保证数据的安全性。有一台Master机器，负责客户端的写入操作，然后有一台或者多台的机器做Slave，用来同步Master机器数据。
4-1MongoDB 复制集 & 分片
热门推荐
qq_51697761的博客
04-21 1万+
目录 4-1MongoDB 复制集 & 分片 第一关：MongoDB 架构 复制集 分片 复制集与分片的区别： 第二关：MongoDB 复制集搭建 配置文件设置 1、数据存放位置； 2、日志文件； 3、配置文件 4、配置文件启动命令（在命令行中输入）： 配置主从节点 1、进入端口号为27018的进行配置，连接数据库： 2、选择数据库 admin； 3、输入配置要求如下： 4、使用 rs.initiate（config）进行初始化： 5、使用 rs.status()
MongoDB复制集及分片
weixin_43948255的博客
07-10 661
MongoDB复制集及分片 一：搭建MongoDB数据库。 1.解压mongodb压缩包 tar -zxvf mongodb-linux-x86_64-3.2.10.tgz 2.将压缩包移动到/usr/local/目录下，并改名为mongodb sudo mv mongodb-linux-x86_64-3.2.10 /usr/local/mongodb 3.安装成功 二：搭建复制集+shar...
mongoDB复制集搭建+分片
qq_41643809的博客
03-03 100
部署MongoDB分片群集 群集部署的搭建思路，利用三台服务器，分别安装mongodb数据库，每台服务器创建五个实例（mongos、configs、shard1、shard2、shard3）。三台不同的服务器上的相同名称的实例，创建为一个复制集，分别包括主节点，副节点，仲裁节点。mongos不需创建复制集，config不需指定主副节点及仲裁节点，但是要创建复制集。三台服务器的操作步骤略有差别，但是...
MongoDB复制集集群配置文件.rar
03-18
配置MongoDB复制集集群和分片通常涉及以下步骤： 1. 安装MongoDB服务器：在所有参与的服务器上安装MongoDB。 2. 初始化复制集：创建配置文件，启动每个成员，并使用`rs.initiate()`命令初始化复制集。 3. 添加副...
mongodb 复制集搭建实例
08-28
MongoDB复制集搭建实例 MongoDB是一个高性能、开源、无模式的文档型数据库，它以其灵活性、可扩展性和丰富的功能而被广泛应用于大数据处理、Web应用、内容管理系统等多个领域。复制集是MongoDB中的一个重要特性，它...
Mongodb副本集和分片示例详解
09-09
本文将深入探讨MongoDB中的副本集和分片技术，并通过示例进行详细解释。 ### 副本集（Replica Set） #### 副本集原理 副本集是一种数据复制策略，用于提供数据冗余和高可用性。在一个副本集中，数据会被复制到多个...
k8s 安装 mongodb 分片（Sharding）+ 副本集（Replica Set）
04-14
k8s 安装 MongoDB 分片（Sharding）+ 副本集（Replica Set） k8s 安装 MongoDB 分片（Sharding）+ 副本集（Replica Set）是结合 Kubernetes（k8s）和 MongoDB 实现高可用性和高性能的解决方案。本解决方案通过使用 ...
MongoDB教程（十二）：MongoDB数据库索引
菜鸟小码的博客
07-18 825
在数据库设计中，索引是提升查询性能的关键技术。MongoDB 提供了丰富的索引类型和管理功能，以满足不同场景下的查询优化需求。本文将深入探讨 MongoDB 索引的基本概念、类型、创建方法以及如何评估索引的效果，通过具体的案例代码展示索引的创建和使用过程，帮助你理解如何在 MongoDB 中有效地使用索引。
MongoDB教程（九）：java集成mongoDB
菜鸟小码的博客
07-17 863
在现代应用程序开发中，MongoDB 作为一种高性能、灵活的 NoSQL 数据库，越来越受到开发者们的青睐。而 Java，作为企业级应用开发的主流语言之一，与 MongoDB 的集成显得尤为重要。本文将详细阐述如何在 Java 应用中引入 MongoDB，包括必要的库添加、连接配置、基本的 CRUD 操作，以及一些高级功能的使用，通过具体案例代码展示每一个步骤。
MongoDB文档整理
最新发布
白豆五的博客
07-20 884
MongoDB是一个分布式文档型数据库，具有高性能、可扩展性强、易部署等特点，适用于大量数据的存储和实时分析、缓存等场景。
Mongodb文本索引
威赞的专栏
07-17 1277
文本索引，能够支持保存字符串字段的文本查询。文本索引，提高了基于单个词语或短语的查询性能。一个集合中，只能有一个文本索引，但该文本索引可以包含多个字段。使用下面的语法来向集合中添加文本索引...文本索引，支持使用$text操作符，查询用户自己搭建的Mongodb服务器。但用户在使用$text时，必须添加文本索引。
MongoDB教程（十）：Python集成mongoDB
菜鸟小码的博客
07-17 1035
在现代软件开发中，Python 以其简洁的语法和强大的库支持，成为了数据科学、Web 开发、自动化脚本等多个领域的首选语言。MongoDB，作为一款流行的 NoSQL 数据库，以其灵活性和高性能，广泛应用于海量数据的存储和管理。本文将详细介绍如何在 Python 应用中引入 MongoDB，涵盖库的安装、数据库连接、基本的 CRUD 操作，以及一些高级功能的使用，通过具体案例代码展示每一个步骤。
mongodb搭建分片复制集
04-12
好的，关于mongodb搭建分片复制集，我可以为您提供一些帮助和建议。首先，您需要考虑您的需求和技术水平，确定使用分片复制集是否适合您的数据存储和管理。然后，您可以按照官方文档或在线教程，步骤一步步搭建和配置您的分片复制集环境。在此过程中，您可能会遇到一些问题和挑战，您可以查阅相关社区或论坛，或者向专业的mongodb技术支持人员寻求帮助。希望我的回答能够给您一些启示和参考。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值