关于mongoDb

最新推荐文章于 2023-04-27 16:37:07 发布
最新推荐文章于 2023-04-27 16:37:07 发布
阅读量4k 收藏
点赞数
分类专栏： 数据库 文章标签： mongoDb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiazou/article/details/46426707
版权

目前部署是mongoS有三台，即mongo服务器

mongoDb有三组，每一组有三台主副机，其中一台主，两台副


起初在设置的时候，每组副本集其IP都在server.conf里面写死了，一组三台，就得修改这三台的配置：

shardsvr=true
replSet=unilog-shard03/10.70.175.69:27017,10.70.175.70:27017,10.70.175.71:27017
port=27017
oplogSize=512
logappend=true
fork=true
auth=true

而在mongodS配置分片时： 

db.runCommand({addshard:"unilog-shard01/10.70.175.63:27017,10.70.175.64:27017,10.70.175.65:27017"});

最近因为机器扩容，移除了一条主机65，导致mongodS连接不上，出现如下
master Composite step 'master' failed due to unsatisfication of success condition. Step Log
build with ant Ant build failed.
BUILD FAILED
java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.read(SocketInputStream.java:155)
    at java.io.BufferedInputStream.fill(BufferedInputStream.java:229)
    at java.io.BufferedInputStream.read1(BufferedInputStream.java:267)
    at java.io.BufferedInputStream.read(BufferedInputStream.java:324)
    at sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:658)
    at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:607)
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:966)
    at java.net.HttpURLConnection.getResponseCode(HttpURLConnection.java:379)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:334)
    at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:132)
    at org.jsoup.helper.HttpConnection.get(HttpConnection.java:121)
    at sun....		 Step Log

查看其端口号，netstat -an | grep 27017，：


在去连接65时，一直被于接收请求状态


需要调整mongoDb里面的server.conf配置文件：

shardsvr=true
replSet=unilog-shard02
port=27017
oplogSize=512
logappend=true
fork=true
auth=true
~
ESC，:wq!，保存退出即可，重新启动mongoDb


然后在主机上如62为主机，执行如下命令：

 var cfg={ _id:'unilog-shard02', members:[ {_id:0,host:'10.70.175.66:27017',priority:2}, {_id:1,host:'10.70.175.67:27017',priority:1}, {_id:1,host:'10.70.175.68:27017'} };  \
  var s= rs.status(); s;\
  var m=s.members;  \
  if(m&&m.length>0){ rs.reconfig(cfg); }else{  rs.initiate(cfg); }  \
  rs.slaveOk();rs.status()

要进行

mongo

admin用户

mongo@oa-04-va59:~> mongo
MongoDB shell version: 2.0.2
connecting to: test
> use admin
switched to db admin
> db.auth("admin","admin123")
1
PRIMARY> var cfg={ _id:'shard0', members:[ {_id:0,host:'10.70.175.63:27017',priority:2}, {_id:1,host:'10.70.175.63:27017',priority:1} };  \
Tue Jun  9 11:28:46 SyntaxError: missing ] after element list (shell):1
PRIMARY>   var s= rs.status(); s;\
Tue Jun  9 11:28:46 SyntaxError: illegal character (shell):1
PRIMARY>   var m=s.members;  \
Tue Jun  9 11:28:46 SyntaxError: illegal character (shell):1
PRIMARY>   if(m&&m.length>0){ rs.reconfig(cfg); }else{  rs.initiate(cfg); }  \
Tue Jun  9 11:28:46 SyntaxError: illegal character (shell):1
PRIMARY>   rs.slaveOk();rs.status()
{
        "set" : "unilog-shard01",
        "date" : ISODate("2015-06-09T03:28:48Z"),
        "myState" : 1,
        "members" : [
                {
                        "_id" : 0,
                        "name" : "10.70.175.63:27017",
                        "health" : 1,
                        "state" : 1,
                        "stateStr" : "PRIMARY",
                        "optime" : {
                                "t" : 1433820527000,
                                "i" : 2
                        },
                        "optimeDate" : ISODate("2015-06-09T03:28:47Z"),
                        "self" : true
                },
                {
                        "_id" : 3,
                        "name" : "10.70.175.64:27017",
                        "health" : 1,
                        "state" : 3,
                        "stateStr" : "RECOVERING",
                        "uptime" : 2097,
                        "optime" : {
                                "t" : 1403622942000,
                                "i" : 1
                        },
                        "optimeDate" : ISODate("2014-06-24T15:15:42Z"),
                        "lastHeartbeat" : ISODate("2015-06-09T03:28:47Z"),
                        "pingMs" : 0,
                        "errmsg" : "error RS102 too stale to catch up"
                }
        ],
        "ok" : 1
}


"errmsg" : "error RS102 too stale to catch up"说明这几台机器没有同步，执行db.repairDatabase()时，出现

PRIMARY> db.repairDatabase()
{
        "errmsg" : "Cannot repair database logs having size: 328891891712 (bytes) because free disk space is: 158043725824 (bytes)",
        "ok" : 0
}

空间不够，除了扩容外，其余方案还待去实践（后续补充）


第二步，修改mongoS里面，刚开始我用的是db.runCommand({removeshard:"unilog-shard01/10.70.175.65:27017"});

mongo@oa-04-va70:/mongodb/mongo/bin> ./mongo admin
MongoDB shell version: 2.0.2
connecting to: admin
> db.runCommand({removeshard:"oa-04-va61"});
{ "ok" : 0, "errmsg" : "unauthorized" }
> db.auth("admin","admin123")
1
mongos> db.runCommand({removeshard:"unilog-shard01/10.70.175.65:27017"});
{
        "msg" : "draining started successfully",
        "state" : "started",
        "shard" : "unilog-shard01",
        "ok" : 1
}

再执行时就出现 msg: "draining ongoing"   , state: "ongoing"，表示正在迁移，该组其draining状态为true： 

mongos> use config
switched to db config
mongos> db.shards.find()
{ "_id" : "unilog-shard02", "host" : "unilog-shard02/10.70.175.66:27017,10.70.175.67:27017,10.70.175.68:27017" }
{ "_id" : "unilog-shard03", "host" : "unilog-shard03/10.70.175.69:27017,10.70.175.71:27017,10.70.175.70:27017" }
{ "_id" : "unilog-shard01", "draining" : true, "host" : "unilog-shard01/10.70.175.64:27017,10.70.175.63:27017" }
update这个状态： 

mongos> db.shards.update({ "_id" : "unilog-shard01"},{ "_id" : "unilog-shard01", "host" : "unilog-shard01/10.70.175.64:27017,10.70.175.63:27017" })
然后再查看时： 

mongos> db.shards.find()
{ "_id" : "unilog-shard02", "host" : "unilog-shard02/10.70.175.66:27017,10.70.175.67:27017,10.70.175.68:27017" }
{ "_id" : "unilog-shard03", "host" : "unilog-shard03/10.70.175.69:27017,10.70.175.71:27017,10.70.175.70:27017" }
{ "_id" : "unilog-shard01", "host" : "unilog-shard01/10.70.175.64:27017,10.70.175.63:27017" }

用mongoVUE，连接成功

mongo相关的命令：

查看mongoDb分副本集的状态： rs.status();


查看数据库：show dbs


查看某个库的状态：

RECOVERING> db.stats()
{
        "db" : "logs",
        "collections" : 13,
        "objects" : 119434683,
        "avgObjSize" : 2392.0039992403213,
        "dataSize" : 285688239384,
        "storageSize" : 297047594944,
        "numExtents" : 181,
        "indexes" : 24,
        "indexSize" : 19946562048,
        "fileSize" : 343363551232,
        "nsSizeMB" : 16,
        "ok" : 1
}
这是在mongoDb上执行的， 
RECOVERING>
还处在修复状态，即副本集没有同步，在空间足够多的情况，尝试修复下。

可以在mongoS上验证该集合：

mongo@oa-04-va59:~> mongo
MongoDB shell version: 2.0.2
connecting to: test
> use admin
switched to db admin
> db.auth("admin","admin123")
1
PRIMARY> help
PRIMARY> show dbs
PRIMARY> use logs
switched to db logs
PRIMARY> show collections
PRIMARY> db.oplog.findOne()


删除锁文件：

mongo@oa-04-va63:/mongodb/unilog-shard02-02/data> pwd
/mongodb/unilog-shard02-02/data
mongo@oa-04-va63:/mongodb/unilog-shard02-02/data> rm -r mongod.lock

查看日志文件： 

mongo@oa-04-va63:/mongodb/unilog-shard02-02/logs> pwd
/mongodb/unilog-shard02-02/logs
mongo@oa-04-va63:/mongodb/unilog-shard02-02/logs> tail -f server.log

写写划划
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于Mongodb参数说明与常见错误处理的总结
12-16
本文主要介绍的是关于Mongodb参数说明与常见错误处理的相关内容，分享出来供大家参考学习，下面来一起看看详细的介绍： 一、在 CentOS7 上安装 MongoDB 1 通过 SecureCRT 连接至 CentOS7 服务器； 2 进入到 /usr/...
MongoDB增加排序内存--版本4.4.1
weixin_43054437的博客
11-09 904
调取大量文件并进行排序时，MongoDB报错，超出内存使用范围，报错信息如下： mongo排序默认的最大内存限制为100m，超出这个限制就会报错。所以查询时查询的字段过多，查询的数据量过大等情况导致排序缓存超出限制会产生这样的问题。 增大内存指令： 进入MongoDB后 use admin # 设置 db.adminCommand({setParameter:1, internalQueryMaxBlockingSortMemoryUsageBytes:209715200}) # 查询.
MongoDB副本集群节点扩容和收缩
武子豪的博客
11-23 1041
下面我们来就举例MongoDB库的副本集群节点扩容和收缩。
MongoDB集群搭建与管理（集群搭建 分片 扩缩容 搭建高可用集群）
m0_46690280的博客
08-14 1223
MongoDB集群搭建MongoDB集群搭建MongoDB集群搭建MongoDB集群简介Mongo分片高可用集群搭建整体架构基础环境准备搭建ConfigServer副本集搭建Shard分片组搭建MongosDocker-compose方式搭建启动服务 MongoDB集群搭建 MongoDB集群搭建 MongoDB集群简介 mongodb 集群搭建的方式有三种： 主从备份（Master - Slave）模式，或者叫主从复制模式。 副本集（Replica Set）模式 分片（Sharding）模式 其中，第一
MongoDB集群升级扩容操作
open
04-27 959
本文重点描述：MongoDB集群模式采用3台物理服务器，硬件配置：256G内存，3*3TSSD RAID5；现有磁盘空间使用量75%已经达到空间阈值；需要升级磁盘空间以及更换raid10（这里官方推荐读写性能更高），硬件磁盘升级为：6*3TSSD RAID10。主服务器（Primary） 包含了所有的改变操作（写）的日志。副本服务器（Secondary）集群包含有所有的主服务器数据，因此当主服务器挂掉了，就会在副本服务器上重新选取一个成为主服务器。
mongo断电后修复
f_fanatic的博客
07-16 1719
前几天公司断电，导致公司mongo数据库中部分数据损坏，具体表现为副本集启动失败，单机方式启动接收到客户端请求后会导致服务down掉，日志如下： xxx为公司库名 2018-07-16T16:39:24.377+0800 [conn26] xxx Deleted record list corrupted in bucket 18, link number 1, invalid link is...
关于Mongodb 认证鉴权你需要知道的一些事
01-21
本文主要给大家介绍了Mongodb认证鉴权的一些相关内容，通过设置认证鉴权会对大家的mongodb安全进一步的保障，下面话不多说了，来一起看看详细的介绍吧。 一、Mongodb 的权限管理 认识权限管理，说明主要概念及关系 ...
关于MongoDB谨防索引seek的效率问题详析
09-09
主要给大家介绍了关于MongoDB谨防索引seek的效率问题的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用MongoDB具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
MongoDB 如何使用内存？为什么内存满了？
weixin_33698043的博客
01-08 610
最近接到多个MongoDB内存方面的线上case及社区问题咨询，主要集中在: 为什么我的 MongoDB 使用了 XX GB 内存？ 一个机器上部署多个 Mongod 实例/进程，WiredTiger cache 应该如何配置？ MongoDB 是否应该使用 SWAP 空间来降低内存压力？ MongoDB 内存用在哪？ Mongod 进程启动后，除了...
（转）mongo的内存（牛A文章）
走在左边
08-19 924
转http://blog.nosqlfan.com/html/2865.html [code="java"]MongoDB与内存 作者：nosqlfan on 星期五, 八月 19, 2011 · 评论本文 本文转载自火丁笔记，文章对Linux的虚拟内存管理机制做了简单介绍，对MongoDB的MMAP的内存映射机制做了描述，后面也说到了一些MongoDB内存使用上的监控和优化。是一篇Mon...
var cfg = cfg || {}的理解
ヾ凉秋的博客
04-30 180
var cfg = cfg || {};这个语句是一个赋值或者初始化语句。 该语句在cfg已经被初始化过后cfg的值不变，即执行var cfg= cfg这一部分。 当options未被初始化，即typeof cfg= 'undefined’时，执行后面部分即var cfg= {}来初始化一个对象 ...
MongoDB分片集群扩展-理论篇
Nodejs
09-17 724
摘自《MongoDB实战第二版》 随着应用系统规模的增长，成本会变的越来越高，而且又是偶无法实现使用单台机器来处理负载压力，这种问题的一个解决方案就是汇聚大量低价且低处理能力的机器来解决问题。 MongoDB的分片就是为解决这种问题而设计的，把超大量数据使用更小的片进行分区存储，这样就不需要在单个机器上存储所有的数据或者承担全部压力。 为什么需要分片集群扩展系统而不是复制集？？？ Mong...
MongoDB集群如何无缝扩容扩展
hanyueqi的专栏
03-06 5537
1、什么情况下需要进行扩容 数据量接近单机磁盘总容量 数据容量接近磁盘容量80% df内存使用量接近内存容量80% free访问量 iostat -xdk 1 storage与datesize两倍左右关系 2、常用的MongoDB集群扩容方案 Scale UpScale Out 读密集型 单节点无法应对所有操作即便hotdate index已经加载到内存中
mongodb的sharding(分片)
yuanchao99的专栏
02-19 7074
sharding是mongodb进行横向扩容的方法，sharding把一个集合的不同部分存储到不同的机器上，当一个数据库集合变得很大时，你只需要加入新的机器即可。sharding自动把集合的数据分布到新的服务器上，sharding自动实现数据和读写负载均衡。 为了使集群具有sharding功能，首先需要建立一个sharding集群。然后就可以在集群内指定某个数据库是否启用sharding，在启用
Mongo 分片集群搭建扩容
木木的博客
10-29 397
创建分片集群 mongod --bind_ip 0.0.0.0 --replSet shard1 --dbpath /data/shard1 --logpath /data/shard1/mongod.log --port 27010 --fork --shardsvr --wiredTigerCacheSizeGB 0 .1 rs.initiate({ _id:"shard1", "members":[ { "_id":0, "host":"member1.com:27010...
MongoDB分片集群搭建及扩容
GongMeiyan的博客
05-10 2439
准备工作 在CentOS 7 上安装MongoDB分片集群 6 Servers 代表：6台服务器上都要操作. 环境准备 On 6 Servers vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 修改以下 #BOOTPROTO=“dhcp” BOOTPROTO=“static” IPADDR=“10.20.xx.xx” NETMASK=“255.255.255.0” GATEWAY=“10.20.xx.xx” DNS1=“10.20.xx.xx” system
mongodb事务
哇哦~
06-23 1344
写操作 什么是writeConcern? majority：超过半数以上的节点才算成功，常用于经常被扩容的节点 默认行为 写入x=1立即返回，并没有等到从节点复制完成 使用majority 写入x=1，等到从节点1完成复制，再返回， 因为3个节点，所以2个节点成功就可以返回了 j:true 写到journal文件才返回 注意事项 读操作 什么是readPreference readPreference场景举例 readPreference与Tag
php---mongo扩展
Iam8600的博客
01-07 1200
                                        php -- mongo扩展 1. 下载扩展安装包 wget http://pecl.php.net/get/mongo-1.4.5.tgz   2. 编译安装   解压文件 tar xvf mongo-1.4.5.tgz -C /usr/src 进入文件目录 cd /usr/src/mongo-1....
关于MongoDB的十条参考文献
最新发布
05-22
以下是关于MongoDB的十条参考文献： 1. MongoDB: The Definitive Guide by Kristina Chodorow 2. MongoDB in Action by Kyle Banker 3. Learning MongoDB by Thomas Uphill 4. MongoDB Applied Design Patterns ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值