Mongodb 副本集+分片

最新推荐文章于 2024-06-18 00:03:11 发布
最新推荐文章于 2024-06-18 00:03:11 发布
阅读量190 收藏
点赞数
文章标签： 数据库 运维 前端 ViewUI
原文链接：http://www.cnblogs.com/MasterSword/p/9782739.html
版权

mongodb的分片功能是建立在副本集之上的，所以首先我们尝试着配置副本集。

docker启动3个已经安装好mongo的镜像

# docker run -idt --name mongodb_01 mongodb_master:v2 /bin/bash
# docker run -idt --name mongodb_02 mongodb_master:v2 /bin/bash
# docker run -idt --name mongodb_03 mongodb_master:v2 /bin/bash

查看容器ip

# docker inspect mongodb_01 | grep IP

3个容器的ip为

172.17.0.4，172.17.0.5，172.17.0.6

进入容器，分别建立mongodb的数据和日志文件夹,编辑配置文件

# docker exec -it mongodb_01 /bin/bash
# mkdir -p /opt/mongodb/rs0/data
# mkdir -p /opt/mongodb/rs0/log
# vi /usr/local/mongdb/conf/rs0.conf

dbpath=/opt/mongodb/rs0/data   #数据目录
logpath=/opt/mongodb/rs0/log/rs0.log #日志目录
pidfilepath=/opt/mongodb/rs0/log/rs0.pid  #pid
logappend=true

replSet=rs0 #副本集名称

bind_ip=172.17.0.4 #容器对应的ip
port=27617

fork=true

maxConns=2000

 //启动容器

 # mongod -f /usr/local/mongdb/conf/rs0.conf

3个容器的mongodb全部启动后，随便连接一个mongodb

# mongo --host 172.17.0.4 --port 27617
> rs.initiate()  //初始化副本集
> rs.conf()//确认更改
> rs.add({host:"172.17.0.5:27518", priority: 6}) //将另外两个mongo服务加入副本集
> rs.conf()  //确认更改
> rs.status() //查看副本及状态
priority代表副本集的优先级,数值越大优先级越高，可以通过rs.status()查看当前副本集的状态，stateStr表示副本及的身份，可以看到172.17.0.5目前的身份是PRIMARY
，另外两个都是SECONDARY，这时我们停止172.17.0.5的mongo服务，过一段时间再看，0.4和0.6中其中一台节点就会变成PRIMARY
，再开启0.5上的mongo服务，又会回复成原来的状态
"members" : [
                {
                        "_id" : 0,
                        "name" : "172.17.0.6:27619",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        "uptime" : 264637,
                        "optime" : {
                                "ts" : Timestamp(1539406655, 1),
                                "t" : NumberLong(4)
                        },
                        "optimeDate" : ISODate("2018-10-13T04:57:35Z"),
                        "syncingTo" : "172.17.0.4:27617",
                        "syncSourceHost" : "172.17.0.4:27617",
                        "syncSourceId" : 2,
                        "infoMessage" : "",
                        "configVersion" : 3,
                        "self" : true,
                        "lastHeartbeatMessage" : ""
                },
                {
                        "_id" : 1,
                        "name" : "172.17.0.5:27618",
                        "health" : 1,
                        "state" : 1,
                        "stateStr" : "PRIMARY",
                        "uptime" : 263943,
                        "optime" : {
                                "ts" : Timestamp(1539406655, 1),
                                "t" : NumberLong(4)
                        },
                        "optimeDurable" : {
                                "ts" : Timestamp(1539406655, 1),
                                "t" : NumberLong(4)
                        },
                        "optimeDate" : ISODate("2018-10-13T04:57:35Z"),
                        "optimeDurableDate" : ISODate("2018-10-13T04:57:35Z"),
                        "lastHeartbeat" : ISODate("2018-10-13T04:57:38.894Z"),
                        "lastHeartbeatRecv" : ISODate("2018-10-13T04:57:38.892Z"),
                        "pingMs" : NumberLong(0),
                        "lastHeartbeatMessage" : "",
                        "syncingTo" : "",
                        "syncSourceHost" : "",
                        "syncSourceId" : -1,
                        "infoMessage" : "",
                        "electionTime" : Timestamp(1539142727, 1),
                        "electionDate" : ISODate("2018-10-10T03:38:47Z"),
                        "configVersion" : 3
                },
                {
                        "_id" : 2,
                        "name" : "172.17.0.4:27617",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        "uptime" : 264390,
                        "optime" : {
                                "ts" : Timestamp(1539406655, 1),
                                "t" : NumberLong(4)
                        },
                        "optimeDurable" : {
                                "ts" : Timestamp(1539406655, 1),
                                "t" : NumberLong(4)
                        },
                        "optimeDate" : ISODate("2018-10-13T04:57:35Z"),
                        "optimeDurableDate" : ISODate("2018-10-13T04:57:35Z"),
                        "lastHeartbeat" : ISODate("2018-10-13T04:57:38.893Z"),
                        "lastHeartbeatRecv" : ISODate("2018-10-13T04:57:38.893Z"),
                        "pingMs" : NumberLong(0),
                        "lastHeartbeatMessage" : "",
                        "syncingTo" : "172.17.0.5:27618",
                        "syncSourceHost" : "172.17.0.5:27618",
                        "syncSourceId" : 1,
                        "infoMessage" : "",
                        "configVersion" : 3
                }
        ],

 

了解了副本集的配置，接下来进行分片的配置

分片即是通过某种算法，将数据分散到不同的片区上，但这样同时会产生一个问题，如果某一个片区出现问题则整个数据都会变的不可用。

所以，需要将分散到不同片区上的数据再以副本集的形式存放，这样在分片的同时也就具备了容错的能力，概念上其实和RAID很相似。

mongodb的分片配置包含以下几个角色：

Config Server:配置分片信息

Shard：实际存储分片数据的地方

mongos:分片的路由，也是前端实际连接的实例

这里盗一张网上的图：

依然用之前的3个镜像，建立需要的文件夹

conf对应Config Server的文件夹

mongos 对应 mongos的文件夹

shard这里我们分为3片，分别对应 shard1，shard2，shard3

# mkdir -p /opt/mongodb/conf/data
# mkdir -p /opt/mongodb/conf/log
# mkdir -p /opt/mongodb/mongos/data
# mkdir -p /opt/mongodb/mongos/log
# mkdir -p /opt/mongodb/shard1/data
# mkdir -p /opt/mongodb/shard1/log
# mkdir -p /opt/mongodb/shard2/data
# mkdir -p /opt/mongodb/shard2/log
# mkdir -p /opt/mongodb/shard3/data
# mkdir -p /opt/mongodb/shard3/log

编辑每个角色的配置文件

Config Server

# vi  /usr/local/mongdb/conf/conf.conf 
dbpath=/opt/mongodb/conf/data
logpath=/opt/mongodb/conf/log/conf.log
pidfilepath=/opt/mongodb/conf/log/conf.pid
logappend=true

replSet=configs
bind_ip=172.17.0.6
port=27019


fork=true

maxConns=2000
configsvr=true #Config Server服务器增加此行

mongos

# vi /usr/local/mongdb/conf/mongos.conf    
logpath=/opt/mongodb/mongos/log/mongos.log
pidfilepath=/opt/mongodb/conf/log/mongos.pid
logappend=true

bind_ip=172.17.0.6
port=27419


fork=true

maxConns=2000

configdb=configs/172.17.0.4:27017,172.17.0.5:27018,172.17.0.6:27019 #Config Server的地址

shard

# vi /usr/local/mongdb/conf/shard1.conf  
pidfilepath = /opt/mongodb/shard1/log/shard1.pid
dbpath = /opt/mongodb/shard1/data
logpath = /opt/mongodb/shard1/log/shard1.log
logappend = true

bind_ip = 172.17.0.6
port = 27119
fork = true

replSet=shard1
 
shardsvr = true
maxConns=20000

配置好后，分别启动Config Server，shard1，shard2，shard3的 mong实例

按照上面介绍的配置副本集方法，分别给Config server，shard1，shard2，shard3配置副本集

最后启动mongos实例，注意命令是mongos 不是mongod

# mongos -f /usr/local/mongodb/conf/mongos.conf

连接mongos实例启用分片

# mongo --host 172.17.0.6:27419
>sh.addShard("shard1/172.17.0.4:27117,172.17.0.5:27118,172.17.0.6:27119")
>sh.addShard("shard1/172.17.0.4:27217,172.17.0.5:27218,172.17.0.6:27219")
>sh.addShard("shard1/172.17.0.4:27317,172.17.0.5:27318,172.17.0.6:27319")

>db.runCommand( { enablesharding :"testshard"});  //数据库启用分片
>db.runCommand( { shardcollection : "testshard.test",key : {id: "hashed"} } ) //表启用分片，并指定片键

到这里，mongodb的分片集群就配置完成了。可以在不同的镜像中启用mongos和keepalived配合实现高可用。

 

转载于:https://www.cnblogs.com/MasterSword/p/9782739.html

baigan6764
关注
Docker搭建高可用的mongodb副本集+分片（Replica Sets+Sharded Cluster）集群
quanmaoluo5461的博客
12-21 4670
高可用的mongodb副本集+分片（Replica Sets+Sharded Cluster）集群 一，前言 本文主要讲解如何通过docker制作高可用的mongodb副本集+分片（Replica Sets+Sharded Cluster）集群 ，采用各软件版本如下： 工具 版本 操作系统 centos7 docker 1.13.1 mongodb 4.0.0 robo...
MongoDB副本集复制和分片
Echo
10-15 3633
MongoDB是一个开源非关系文档型数据库。在MongoDB中的每一个记录是一个文档，文档类似于JSON对象，它是一个由字段和值对组成的数据结构。 MongoDB出现解决了传统关系型数据库对海量数据的处理难题。以传统的MySQL为代表的关系型数据库，事务保证操作和数据的可靠性，但同时也限制了数据的扩展性和数据库海量数据的处理能力。MongoDB的数据库不支持事务，这使它突破了关系型数据库的局限
Mongodb副本集和分片示例详解
09-09
主要给大家介绍了关于Mongodb副本集和分片的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Mongodb具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
MongoDB副本集和分片解析
weixin_46106069的博客
10-25 1304
Replica Set 副本集模式 Replica Set 模式角色 Replica Set 是 MongoDB 的实例集合，包含三类节点角色： Primary （主节点） 只有 Primary 是可读可写的，Primary接受的所有的写请求，然后把数据同步到所有的 Secondary。一个 Replica Set 只有一个 Primary 节点，当 Primary 挂掉后，其他 Secondary 或 Arbiter 节点会重新选举出来一个 Primary 节点，这样就又可以提供服务了。 读请求默认
mongodb 3.4 集群搭建：分片+副本集
weixin_34356138的博客
01-21 918
mongodb是最常用的nodql数据库，在数据库排名中已经上升到了前六。这篇文章介绍如何搭建高可用的mongodb（分片+副本）集群。 在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。 相关概念 先来看一张图： 从图中可以看到有四个组件：mongos、config server、shard、replica set。 mong...
mongodb在副本集的基础上进行分片存储·
爱越野的程序源
09-21 2096
1、在虚拟机中启动mongod的配置服务器   ./mongod --dbpath /data/mongodbtest/config/data/ --configsvr  --port 29000 --logpath /data/mongodbtest/config/log/config4.log --fork
MongoDB 学习笔记之 分片和副本集混合运用
baguashenp74070的博客
08-20 202
分片和副本集混合运用： 基本架构图： 搭建详细配置： 3个shard + 3个replicat set + 3个configserver + 3个Mongos shardrsname Primary Secondary Secondary port bigdata-sh-a bigda...
mongoDB副本集和分片
llilin_的博客
04-28 1253
搭建MongoDB可采取复用主机的方式，两分片式集群部署，有4个数据节点，至少需要4台服务器。
MongoDB 副本集+分片 架构部署
我思，故我在！--My data life
03-18 8526
Replica Set + Sharding  配置部署准备工作架构设计 需要三台机器(racdb,host8,host9)：数据节点，sharding2片每个sharding为Replic Set方式，冗余度为3（主、从、延迟从）mongos(路由节点)，数量为3config  server(配置服务器节点)，数量为3arbiter server(表决节点)，数量为6 Mongodb Re
MongoDB集群（副本集+分片）
zhangyingji
05-12 883
Situation 相关概念 config(配置服务器） 数据和片的对应关系以及相应的配置信息 mongos(路由服务器) 负责把对应的数据请求请求转发到对应的shard服务器上 mongod(分片服务器) 环境准备 windows10 + mongodb3.4 + matlab 3台可以互相ping通的主机(单机下也可以建立不同的文件进行伪...
mongodb分片与副本集详细配置方案
05-07
该文档详细讲述了对三个服务器的mongodb进行副本集与分片的部署。并给出测试方案和架构图。
centos7+mongodb 3.4 集群搭建：分片+副本集
12-13
centos7.0+mongodb 3.4 集群搭建：分片+副本集。3台虚拟机。如有问题可留言。
Cent OS安装 + MongoDB安装部署（单节点+副本集+分片） 详细教程 MARKDOWN文档
05-03
## 三、MongoDB副本集安装 1. **创建数据目录**：为每个副本集成员创建一个独立的数据目录，如`/var/lib/mongodb/replica1`、`/var/lib/mongodb/replica2`等。 2. **修改配置文件**：在`mongod.conf`中，添加`...
k8s 安装 mongodb 分片（Sharding）+ 副本集（Replica Set）
04-14
k8s 安装 MongoDB 分片（Sharding）+ 副本集（Replica Set） k8s 安装 MongoDB 分片（Sharding）+ 副本集（Replica Set）是结合 Kubernetes（k8s）和 MongoDB 实现高可用性和高性能的解决方案。本解决方案通过使用 ...
MongoDB集群搭建：副本集+分片
weillee9000的博客
02-28 263
环境规划 服务器规划 192.168.3.167 192.168.3.168 192.168.3.170 mongos mongos mongos config server config server config server shard server1 主节点 shard server1 副节点 shard serv...
MongoDB副本集、分片综合应用
最新发布
2302_80467554的博客
06-18 673
重新打开mongodb服务，即可像原来一样使用，但是数据存储方式和原来已经不一样了，变成了分布式的分片存储。电脑版本比较高，所以的cmd需要使用管理员身份运行启动服务均为一次性服务，关闭cmd即为关闭服务，所以在未完成前，请勿关闭实例均未添加至系统环境变量，请在bin目录下启动虽然窗口很多，操作不太友好，但是在win系统下，还是多有耐心一点，linux会简单一些，详情看书上。
mongodb3.4版本 副本集+分片配置
三丰的博客
11-18 313
使用了2台服务器 副本集:rs0 62: 27100 主 69: 27100 从 27200 仲裁 ----------------------------------------------------------------------- 分片: 62: 28000 30000 路由 69: 28000 30000 confServer ----------------------...
mongoDB 副本集 分片
chuangu7098的博客
03-19 407
MongoDB介绍 官网www.mongodb.com， 当前最新版3.4 C++编写，基于分布式的，属于NoSQL的一种 在NoSQL中是最像关系型数据库的 MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成...
MongoDB副本集+分片
wbszlj的博客
09-16 190
[b]备忘[/b] [url]http://www.muxuanli.com/lmx/[/url] ================================================================= [b][i]MongoDB 副本集 [/i][/b] MongoDB复制是将数据同步在多个服务器的过程。 复制提供了数据的冗余备份，并在多个服...
MongoDB副本集与分片技术详解
"副本集简介-MongoDB分片副本级" MongoDB的副本集和分片是两种关键的分布式数据管理技术，它们旨在提高数据库的可用性、可扩展性和容错性。 副本集简介： MongoDB的副本集是通过在多个 mongod 实例之间复制数据来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值