关闭
当前搜索:

mongodb副本集中其中一个节点宕机无法重启的问题

2-8日我还在家中的时候,被告知mongodb副本集中其中一个从节点因未知原因宕机,然后暂时负责代管的同事无论如何就是启动不起来。 当时mongodb的日志信息是这样的: 实际上这里这么长一串最重要的信息应该是在后边几行: 2017-02-08T17:10:28.754+0800 I REPL [rsBackgroundSync] replSet our last op ti...
阅读(1141) 评论(0)

mongodb副本集搭建过程中的问题和解决技巧

在我以往的认知中,一个系统一旦正式上线,多半不会轻易的迁移服务器,尤其是那种涉及到多个关联应用,涉及到多台硬件服务器的系统,因为这种迁移将是牵一发而动全身的。 但是,却仍然有这种情况存在,就如我这几天主要负责的事,就是一个系统的全部服务器迁移中的部分机器迁移,还有一部分由别人负责。 这个系统涉及到flume数据采集,storm数据分析,rabbitmq消息分发,ehcache缓存提升系统性能,...
阅读(2369) 评论(0)

使用spring连接及操作mongodb3.0

前边有一篇记录过不使用spring,直接在java代码中连接和操作mongodb数据库,这里就紧随其后记录一下使用spring的情况下,在java中简单操作mongodb。 maven导包配置: 因为涉及了sping以及springmvc,因此也需要导入它们相关的包: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns...
阅读(24491) 评论(12)

mongodb命令行group分组和java代码中group分组

group分组统计是数据库比较常用的功能,mongodb也不例外。不过相对于普通的增删改查,group操作就略微麻烦一些,这里对group在shell中的操作、使用java原生代码操作以及集成spring进行操作进行一个简单的归纳总结,分组的途径和方法应该都有多种,这里每一样只举一例。本例中数据源如下:需要使用group实现的目的是:按年龄分组统计出每一组的数量。1、mongo shell中执行如...
阅读(9003) 评论(0)

mongodb3.0分片及java代码连接操作测试(开启用户验证)

最近抽时间搭建了一下mongodb简单的分片,整个过程还算是蛮顺利,只不过在用户验证这一块遇到了一些问题,好在最后终于搞定。一、服务器搭建过程:1、安装四个mongodb:一个作为config、一个作为mongos、另外两个作为主要数据存储的服务器(机器ip192.168.0.201),如图:分别对应图中被红框框起来的mongoconf、mongos、mongo1、mongo2(解压安装,安装过程...
阅读(7380) 评论(2)

linux shell中获取mongodb最大连接数、内存使用情况等

前两天接到了一个新的需求,需要在linux shell脚本中监控到mongodb最大连接数、内存使用情况等。但是我对于linux shel很不了解,只是会一些简单常用的linux的操作而已,只要一顿狂搜,最终多番尝试下终于获取到这些值。成功的步骤大致如下:0、./mongostat -u admin -p admin --authenticationDatabase admin -n 1 --js...
阅读(4951) 评论(4)

mongodb3.0副本集搭建补充~~非admin数据库的用户权限

之前有搭建mongodb3.0的副本集,不过当时直接使用的admin数据库,用户也是直接给的root。链接:http://blog.csdn.net/tuzongxun/article/details/51723259最近想要把数据移到非admin数据库上,便重新以非admin库创建用户,过程大致和之前的一样,但创建用户的时候还是遇到了一些问题,主要是在用户角色和权限上。我搭建过程中参考了下边的用...
阅读(6489) 评论(7)

mongodb去除重复的数据(二)

前天因为工作需要,开始着手对数据库中两千多万的数据中其中一个字段重复的数据进行去重。原本使用一些测试的数据测试后,前天写的那个方法是可行的,但是当面对这个两千万的真实数据时,我却发现这方法有些不顶用了,最终只好又经过若干次的尝试,总算成功去重。最终总结一下整个过程:1、这个方法就是上一篇所讲的,利用mongodb的游标dbcursor和while循环的方式。var res=db.test.find...
阅读(12134) 评论(3)

mongodb去除重复的数据

今天出现了一个新的需求,有个部门需要拿到mongodb中的数据,要求去掉其中一个字段内容相同的数据。虽然mongodb中有distinct来去重,但是和mysql的distinct不同的是,mysql中能用distinct * 返回整条记录的信息,而mongodb的distinct我却只是返回去重的那个字段的数据(或许mongodb也可以返回整条,但是我不知道)。mysql中的distinct返回...
阅读(20963) 评论(11)

把mmapv1存储引擎存储的mongodb3.0数据库数据复制到WiredTiger存储引擎的mongodb3.2中

mongodb3.0在mmapv1的存储引擎基础上添加了一个新的存储引擎WiredTiger。但是3.0的默认存储引擎依旧是mmapv1,因此我们项目之前也就用的默认方式。但是mongodb更新实在太快,转眼间,从3.0直接跳到3.2,默认的存储引擎也改成了WiredTiger。据说这个引擎具有占用磁盘空间更小,占用内存空间更小,查询效率更高等一系列特点。为了防患于未然,今天尝试了一下把3.0的数...
阅读(4927) 评论(0)

Mongodb3.0.5副本集搭建及spring和java连接副本集配置

这是去年写的一篇文档,最近突然发现并没有发不出来,因此现在补上,希望能对某些朋友有所帮助。因为当时记录时没有截图,因此这里看起来可能就比较单调。一、基本环境:mongdb3.0.5数据库spring-data-mongodb-1.7.2.jarmongo-java-driver-3.0.2.jarlinux-redhat6.3tomcat7 二、搭建mongodb副本集:1、  分别在三台linu...
阅读(17650) 评论(0)

使用mongoVUE删除大量数据的情况下失效问题

昨天有一个系统出现了问题,导致半夜时大量的错误数据产生,早晨一早接到上边通知让把这些数据尽数删除。不可否认在数据操作时mongoVUE更加直观,因此一般情况下我也都是使用这个工具,但是今天却出现了问题。首先我查询了一下需要删除的数据的数据量,查询操作正常,如图:然后一样的条件执行删除remove操作,结果就卡在那里许久之后弹出错误提示框如下:几次尝试后均是如此,于是我只好改道使用系统中的命令行进入...
阅读(9425) 评论(3)

mongodb一些使用技巧或注意事项记录

1、有的时候需要删除指定字段那一列,使用update操作。例如要删除name这一列: query  json: {"name":{$exists:true}} update json: {$unset:{"name":""}} 2、数据导出,在mongodb的bin目录执行mongoexport命令并设定相关的参数,例如: ./mongoexport -h 192.1...
阅读(3819) 评论(17)

不使用spring的情况下用java原生代码操作mongodb数据库的两种方式

由于更改了mongodb3.0数据库的密码,导致这几天storm组对数据进行处理的时候,一直在报mongodb数据库连接不上的异常。   主要原因实际上是和mongodb本身无关的,因为他们改的是配置文件的密码,而实际上这个密码在代码中根本就没有使用,他们在代码中已经把用户验证信息写死。   在协助他们解决这个问题的时候,我看到他们代码中在和mongodb数据库交互时使用了...
阅读(7363) 评论(0)

修改mongodb3.0副本集用户密码遇到的坑

最近公司对项目安全方面的问题很是重视,进行了多次各种安全漏洞的扫描,于是乎就扫到了mongodb弱口令的问题。 在项目部署初期,因为大家对这个都不是特别重视,大概是因为觉得反正是内网项目吧,所以mongodb数据库的用户名和密码就都是admin。 这次扫到弱口令之后,要求解决这个问题,于是任务便分到了我的头上。 遵循强口令的标准,我把admin改成了由大写字母、小写字母、数字和特殊字符共同组成的密...
阅读(9078) 评论(2)

修改mongodb oplog size

转载地址:http://blog.csdn.net/huwei2003/article/details/43307647 修改mongodb oplog size oplog简介: oplog:operations log的简写,存储在一个特殊的数据库中(local),oplog就存储在其中的oplog.$main集合里面,这个集合是一个固定集合,新操作会自动替换旧的操作...
阅读(692) 评论(0)

MongoDB:Replica Set 之操作日志 Oplog

转载地址:http://francs3.blog.163.com/blog/static/4057672720121133328120/  之前的blog  学习了 MongoDB 主从搭建,以及节点管理的内容,接下来学习 实现主从复制一个重要角色,即 Oplog。         MongoDB 的复制集是通过 Oplog 来实现的,主库的更改操作会被记录到主库的 Oplo...
阅读(1064) 评论(0)

MongoDB 3.0的Explain

转自:http://blog.csdn.net/fo11ower/article/details/45576949 //插入1000000条记录 for (val=0; val 1000000; val++) { db.destination.save({distance:val}); } //显示记录数 db.destination.count(); //1000000 //查找...
阅读(1076) 评论(0)

mongoVUE对mongodb常用的基础操作

一、    连接mongodb服务端: 1、         双击mongoVUE,进入如下图所示界面: 2、         点击上图中的“+”,出现如下图,输入要连接的mongodb服务器的ip、端口、用户名、密码以及要连接的数据库等: 3、         信息填写完成后点击“test”,如果成功,则会弹出如下界面,之后点击“save”;如果不是如下界面,代表输...
阅读(2527) 评论(0)

mongodb的读写分离

转自:http://blog.csdn.net/sd0902/article/details/21538621 mongodb的读写分离使用Replica Sets来实现 对于replica set 中的secondary 节点默认是不可读的。在写多读少的应用中,使用Replica Sets来实现读写分离。通过在连接时指定或者在主库指定slaveOk,由Secondar...
阅读(837) 评论(0)
46条 共3页1 2 3 下一页 尾页
    有问题要问?点击QQ联系我!
    有需要,qq联系我
    1160569243
    公告栏
    个人资料
    • 访问:787915次
    • 积分:9989
    • 等级:
    • 排名:第2024名
    • 原创:230篇
    • 转载:38篇
    • 译文:0篇
    • 评论:408条