mongodb副本集部署

最新推荐文章于 2024-06-15 08:36:30 发布
最新推荐文章于 2024-06-15 08:36:30 发布
阅读量85 收藏
点赞数
文章标签： 数据库 运维 python
原文链接：https://my.oschina.net/xsh1208/blog/3005437
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

常识： replset + shard

replset是副本集，shard是分片

mongoDB的主从模式其实就是一个单副本的应用，没有很好的扩展性和容错性。而副本集具有多个副本保证了容错性，就算一个副本挂掉了还有很多副本存在，并且解决了上面第一个问题“主节点挂掉了，整个集群内会自动切换”。

比如游戏，开了某一个服，那么所有的数据都在一台服务器上，此时它要保证的是服务不挂就可以，不用考虑更多的并发上的压力，那么它首先是副本集。

acc9dd51da0f3e85c1657fe5e99e5ce460b.jpg

如果有节点挂了，它会重新选举新的主节点

1182af44153f6ac8d30ce39d7ec593f6b64.jpg

而更多的情况是，你要考虑并发，而且可能是千万，亿万并发，副本集是搞不定的。

于是shard就登场了。

分片并不是mongo独有的概念，很多数据库都有，mongodb里的分片是指通过mongos来当网关路由，分发请求到每个shard，然后每个shard会对应各自的副本集。

既然是分发请求，就会有一定的性能损耗，但好处是你能处理更多请求。所以按照场景选择

  • 性能最佳，当然是一个副本集，如果能满足需求，优先

  • 如果副本集不足及支撑并发，那么就选shard

 

实践

准备3台阿里云主机

  • 10.51.83.118

  • 10.51.77.129

  • 10.44.204.241

先各自ping一下，保证网络通畅。

确定我的目标是1主，2从，奇数个

这篇文字讲了Bully算法以及为啥是奇数个

http://www.lanceyan.com/tech/mongodb_repset2.html

注意点

  • 服务器节点之前时间要同步

  • 开启防火墙的一定要允许通过

  • 开启selinux的也要进行设置

  • 建立双击互信模式最好不过

格式化阿里云的新增硬盘

http://www.cnblogs.com/dudu/archive/2012/12/07/aliyun-linux-fdisk.html

然后挂载到/data目录下

配置文件

~/config/r0.config

port=27000
fork=true
logpath=/data/replset/log/r0.log
dbpath=/data/replset/r0
logappend=true
replSet=rs
#keyFile=/data/replset/key/r0

~/config/r1.config

port=27001
fork=true
logpath=/data/replset/log/r1.log
dbpath=/data/replset/r1
logappend=true
replSet=rs
#keyFile=/data/replset/key/r1

~/config/r2.config

port=27002
fork=true
logpath=/data/replset/log/r2.log
dbpath=/data/replset/r2
logappend=true
replSet=rs
#keyFile=/data/replset/key/r2

启动

确保目录为空，杀死所有mongod进程

rm -rf /data/replset/

ps -ef|grep mongod | awk '{print $2}' | xargs kill -9
ps -ef|grep mongod

创建目录

mkdir -p /data/replset/r0
mkdir -p /data/replset/r1
mkdir -p /data/replset/r2
mkdir -p /data/replset/key
mkdir -p /data/replset/log

准备key文件

echo "replset1 key" > /data/replset/key/r0
echo "replset1 key" > /data/replset/key/r1
echo "replset1 key" > /data/replset/key/r2
chmod 600 /data/replset/key/r*

注意第一次不能用keyFile

mongod -f ~/config/r0.config &
mongod -f ~/config/r1.config &
mongod -f ~/config/r2.config &

配置文件里是fork=true，所以启动需要点时间

初始化

> rs.initiate()  
{
	"info2" : "no configuration explicitly specified -- making one",
	"me" : "iZ25xk7uei1Z:27001",
	"ok" : 1
}

擦，超级慢。。。。

使用下面语句初始化

mongo --port 27000
rs.initiate({ _id:'rs',members:[{ _id:0, host:'10.51.77.129:27000' }]})

这个其实也很慢。。。。

待完成后，继续增加其他2个节点（一定要注意，在rs:PRIMARY即主节点上才能增加rs:SECONDARY和ARBITER。如果之前连的是其他端口，需要切换的。）

rs.add("10.51.77.129:27001")
rs.addArb("10.51.77.129:27002")

查看状态

rs.status();

如果想移除某一个节点

rs.remove("10.51.77.129:27001")
rs.remove("10.51.77.129:27000")
rs.remove("10.51.77.129:27002")

reconfig

如果想删除，重置用rs.reconfig(),这样做不一定会成功，有的时候无法切换到主节点，所以需要，删除/data/replset目录，然后重启所有mongo的进程。

rs.reconfig({ _id:'rs',members:[{ _id:1, host:'10.51.77.129:27000' }]})
rs.add("10.51.77.129:27000")
rs.addArb("10.51.77.129:27002")

db.oplog.rs

rs:PRIMARY> use local
switched to db local
rs:PRIMARY> show collections
me
oplog.rs
startup_log
system.indexes
system.replset
rs:PRIMARY> 
rs:PRIMARY> 
rs:PRIMARY> db.oplog.rs.find()
{ "ts" : Timestamp(1435495192, 1), "h" : NumberLong(0), "v" : 2, "op" : "n", "ns" : "", "o" : { "msg" : "initiating set" } }
{ "ts" : Timestamp(1435495306, 1), "h" : NumberLong(0), "v" : 2, "op" : "n", "ns" : "", "o" : { "msg" : "Reconfig set", "version" : 2 } }
{ "ts" : Timestamp(1435495323, 1), "h" : NumberLong(0), "v" : 2, "op" : "n", "ns" : "", "o" : { "msg" : "Reconfig set", "version" : 3 } }

在SECONDARY节点无法show dbs

主从启动之后，连接slave可以成功连上，但是在slave中执行 show dbs 的时候就报错了:

QUERY    Error: listDatabases failed:{ "note" : "from execCommand", "ok" : 0, "errmsg" : "not master" }

解决方法：

在报错的slave机器上执行 rs.slaveOk()方法即可。

解释一下具体slaveOk方法是什么意思？

Provides a shorthand for the following operation:

db.getMongo().setSlaveOk()
This allows the current connection to allow read operations to run on secondary members. See the readPref() method for more fine-grained control over read preference in the mongo shell.

see

  • http://segmentfault.com/a/1190000002924522

  • http://www.it165.net/database/html/201402/5280.html

内存问题

查看内存情况最常用的是free命令：

[deploy@iZ25xk7uei1Z config]$ free -m
             total       used       free     shared    buffers     cached
Mem:          7567       6821        745          8        129       6122
-/+ buffers/cache:        569       6997
Swap:            0          0          0

限制内存

所有连接消耗的内存加起来会相当惊人，推荐把Stack设置小一点，比如说1024：

ulimit -s 1024

通过调整内核参数drop_caches也可以释放缓存：

sysctl vm.drop_caches=1

有时候，出于某些原因，你可能想释放掉MongoDB占用的内存，不过前面说了，内存管理工作是由虚拟内存管理器控制的，幸好可以使用MongoDB内置的closeAllDatabases命令达到目的：

mongo> use admin
mongo> db.runCommand({closeAllDatabases:1})

平时可以通过mongo命令行来监控MongoDB的内存使用情况，如下所示：

mongo> db.serverStatus().mem:
{
 "resident" : 22346,
 "virtual" : 1938524,
 "mapped" : 962283
}

还可以通过mongostat命令来监控MongoDB的内存使用情况，如下所示：

shell> mongostat
mapped vsize res faults
 940g 1893g 21.9g 0

其中内存相关字段的含义是：

  • mapped：映射到内存的数据大小

  • visze：占用的虚拟内存大小

  • res：占用的物理内存大小

注：如果操作不能在内存中完成，结果faults列的数值不会是0，视大小可能有性能问题。 在上面的结果中，vsize是mapped的两倍，而mapped等于数据文件的大小，所以说vsize是数据文件的两倍，之所以会这样，是因为本例中，MongoDB开启了journal，需要在内存里多映射一次数据文件，如果关闭journal，则vsize和mapped大致相当。

see

  • http://www.oschina.net/question/16840_44521

更好的做法是使用docker，一劳永逸

  • 手把手教你用Docker部署一个MongoDB集群 http://dockone.io/article/181

转载于:https://my.oschina.net/xsh1208/blog/3005437

weixin_33921089
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Mongodb的副本集部署
直到世界的尽头
02-27 2835
MongoDB的主从集群分为两种：   1. Master-Slave 复制(主从复制)     2. Replica Sets 复制(副本集) 之前采用Master-Slave模式的时候(详见Mongodb的主从部署)，一旦Master停掉，客户端就会报异常，这个时候已经没有Master了，Slave不会自动接管Master Replica Sets 也是一种Master
MongoDB副本集部署(Windows)
06-04
通过以上步骤，你可以在Windows环境中成功部署一个MongoDB副本集，实现数据的高可用性和容错性。在实际生产环境中，还需要考虑网络架构、负载均衡、备份策略等多方面因素，以构建更健壮的数据库系统。
MongoDB：部署副本集
黑土墨
11-29 878
本文介绍如何把没有访问控制的三个已存在的mongo实例创建成包含3个成员的副本集。如果要部署有访问控制的副本集，可以查看Deploy Replica Set With Keyfile Access Control。如果要把单独的mongo实例部署为副本集，可以查看Convert a Standalone to a Replica Set。简介3个成员的副本集提供了足够的冗余以保证大部分的网络问题和其
【MongoDB】“errmsg“ : “no such command: ‘addShard‘“
最新发布
weixin_43346403的博客
06-15 167
没有连接到真正的mongos,而是直接连接到了配置服务器。配置服务器和mongod数据服务器上均没有sh.addShard()命令，只有mongos才有。添加分片的功能是mongos的，所以必须连接到Mongos才能进行添加分片。1.添加shard分片报错。
部署mongodb副本集
weixin_42816196的博客
08-02 274
副本集介绍 • 副本集是什么   – MongoDB 复制是将数据同步在多个服务器的过程。 – 复制提供了数据的冗余备份,并在多个服务器上存储 数据副本,提高了数据的可用性, 并可以保证数据的 安全性。 – 复制还允许您从硬件故障和服务中断中恢复数据     复制原理 • 副本集工作过程   – mongodb 的复制至少需要两个节点。其中一个是主 节点,负责处理客户端...
MongoDb副本集部署
naiyaotaimeile的博客
02-19 248
MongoDb集群三种部署方式： 1）主从模式，类似与Mysql集群 2） 副本集（ replica set） 3）分片（Sharding) Linux  MongoDb副本集搭建 ——————》启动 上述模式介绍以及其他模式的介绍：http://www.cnblogs.com/wadeyu/p/7930608.html 假设3台机子，118.25.225.7部署主节点，118.2...
K8s 部署 MongoDB（副本集）
02-03
副本集可提供冗余和高可用性，是所有生产部署的基础。也可以说，副本集类似于有自动故障恢复功能的主从集群。通俗的讲就是用多台机器进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库当...
linux mongodb副本集负载均衡部署完成
05-31
技术：mongodb集群 副本集 说明包含： MongoDB集群负载均衡资料 mongodb安装包 MongoDB集群主从复制部署帮助文档 MongoDB集群主从复制使用帮助文档 MongoDB集群主从复制遇到问题解决文档 mongodb网页资料 ...
mongodb副本集测试用户验证.pdf
09-07
MongoDB的副本集是数据库高可用性...综上所述，MongoDB副本集的部署涉及配置文件、用户验证和安全设置，通过这些步骤可以创建一个安全、可靠的分布式数据库系统。理解并熟练掌握这些知识对于管理MongoDB集群至关重要。
CentOS 6.4创建Mongodb副本集
12-16
创建MongoDB副本集是为了实现数据的冗余和故障转移，当集群中的某个节点出现问题时，其他节点可以接管服务，保证业务连续性。在CentOS 6.4上设置MongoDB副本集的步骤如下： 1. **设置hostname**：首先，确保在副本...
MongoDB副本集部署实战
抽象的螺旋
04-22 1122
简介 MongoDB的副本集（Replica Set）是一组维护相同数据集的mongod服务，副本集可提供冗余和高可用性，是所有生产部署的基础。 也就是说，副本集类似于有自动故障恢复功能的主从集群，通俗的讲就是用多台集群进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库挂掉时在不需要用户干预的情况下自动切换其他备份服务器做主库。而且还可以利用副本服务器做只读服务器，实现读写分离，提高负载。 冗余和数据可用性 复制提供冗余并提高数据可用性。通过在不同数据库服务器上提供多个数据副本，复制
mongoDB副本集和分片
llilin_的博客
04-28 958
搭建MongoDB可采取复用主机的方式，两分片式集群部署，有4个数据节点，至少需要4台服务器。
Mongodb副本集的部署
qq_60142726的博客
05-20 702
Mongodb副本集的部署
MongoDB副本集（Replica Sets）安装部署
qq_35289011的博客
11-08 726
mongodb副本集集群部署，结合网上查找资料及自己实践，进行一次完整的安装记录，并附上对应安装包，提供给需要的人使用。此安装包支持linux-x86架构；第一次梳理，如不清楚可留言。
如何建立MongoDB副本集（4种方法）
WPHunter的编程技术资料库！
01-14 2102
在这篇文章中，我们将深入探讨MongoDB复制副本集的各个突出方面，比如它的功能和机制，仅举几例。
mongodb部署副本集
m0_61289433的博客
10-28 2709
mongodb部署副本集
MongoDB副本集介绍与部署
若不知道要驶向哪个码头，那么任何风都不会是顺风。
05-17 1264
MongoDB副本集（Replica Set）作为MongoDB数据库的核心功能之一，为开发人员提供了一种简单而有效的方式来实现数据的高可用性和冗余备份。在本文中，我们将探讨MongoDB副本集的概念、工作原理以及如何配置和管理一个稳健的副本集环境。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值