mongodb
文章平均质量分 84
yisun123456
大数据开发、个性化推荐
展开
-
MongoDB在Java当中的稍复杂用法(内嵌Document或者Array的CRUD)
主要介绍三个内容,Document最外层的CRUD,内嵌Array数组的CRUD,内嵌Document的CRUD参考网址:https://docs.mongodb.org/getting-started/java/ https://docs.mongodb.org/manual/reference/operator/projection/pos转载 2017-11-17 16:29:47 · 1892 阅读 · 0 评论 -
mongodb 由于aggregate 分组过大 导致的bug
环境:mongoDB2.6.8 集群,下午突然发现4个从节点,挂了3个,全都都出现以下提示:2016-03-11T16:53:02.483+0800 [conn312773] Assertion: 13548:BufBuilder attempted to grow() to 134217728 bytes, past the 64MB limit.经分析, [conn3127转载 2017-11-20 19:55:40 · 848 阅读 · 0 评论 -
mongodb保存数据Java
MongoDB有三种方法来保存java对象,一种是通过类实现DBObject接口,一种是利用spring-mongodb工具的对象映射功能,把java对象转换成MongoDB的BSON文档,一种是通过序列化类实例,转成二进制存储,MongoDB是支持二进制的数据格式的。下面分别介绍三种方法:1.实现DBObject接口用这种方法的话类还是个DBObject,存取对象属性都要用到pu转载 2017-11-15 17:19:57 · 3042 阅读 · 0 评论 -
mongodb 操作符$
写在前面 本文基于官网v3.4的文档翻译整理而来,包含了绝大多数常用的操作符,更多详细的使用还请参考官网(戳这里)。本人水平有限,若各位看官发现错误,还望及时留言指出,以免误导!共同学习,共同进步!1.查询和投影1.1 比较操作符$eq语法:{ : { $eq: } }释义:匹配等于(=)指定值的文档举例:转载 2017-11-21 12:42:03 · 2046 阅读 · 1 评论 -
mongodb $
mongdob里面保存的是json类型的数据,如果你在插入数据的时候,时间字段插入的是日期类型的数据(Date),那么在mongodb里面会是ISODate类型的。ISODate和咱们现在的时区不一样,IOSDate默认是慢8个小时的。所以再次操作时间类型的时候,一定要慎重,慎重。 mongodb的聚合框架(aggregate)提供了很多修改器用来修改去获取IOSDate类型的字段的年、月、日转载 2017-11-21 15:53:12 · 578 阅读 · 0 评论 -
mongodb Linux 优化
1.修改 Max processes 或者 files (Max processes,Max open files )(1)方法一:修改配置文件 /etc/security/limits.d/90-nproc.conf 使用vi /etc/security/limits.d/90-nproc.conf 命令* soft nproc 1024改转载 2017-11-21 16:20:00 · 586 阅读 · 0 评论 -
mongodb 常见问题
本文分两部分介绍mongodb3.2.1分片部署配置及故障模拟验证。第一部分 安装配置一、实验环境两组副本集做分片版本3.2.1副本集1:192.168.115.11:27017,192.168.115.12:27017,192.168.115.11:47017(arbiter)副本集2:192.168.115.11:37017,192.168.1转载 2017-11-16 16:20:37 · 2285 阅读 · 0 评论 -
mongodb 安装与存在的问题的解决(warning)
1.环境OS: CentOS 6.5 x64MongoDB:3.2.7MongoDB的集群安装可以参考:http://blog.csdn.net/john_chang11/article/details/517336702.下载mongodbhttps://www.mongodb.com/download-center?jmp=nav#commu转载 2017-11-15 11:38:48 · 3056 阅读 · 0 评论 -
mongodb先条件查询与再分组
如果你已经搜索到了这个页面,那我很不幸的告诉你,java mongodb的查询不仅慢,而且很繁琐,你的噩梦才刚刚开始。 先简单地介绍下,我要实现的功能。 本人一直在做网站运维这块,在统计网站数据的过程中,需要计算PV、UV,时间单位是一天,很自然就需要用到条件查询,查询一天的情况。 先看PV,查询某日总的页面访问量,面向页面计算。[转载 2017-11-15 10:54:02 · 2992 阅读 · 0 评论 -
mongodb 内嵌数组关于排序的问题
{"_id" : ObjectId(“54115f9db4daf5a789d799fa”),“arrays” : [{“name” : “a1”,“size” : 1},{“name” : “a2”,“size” : 2},{“name” : “a3”,“size” : 3},{“name” : “a4”,“size” : 4}]}通过size大小排序,有没有办法?6 回复转载 2017-11-17 16:49:54 · 6818 阅读 · 0 评论 -
mongodb 读写分离
mongoDB官方已经不建议使用主从模式了,替代方案是采用副本集的模式, 点击查看。如果您的环境不符合副本集模式可参考本文,来实现主从读写分离。 resources.propertiesmongodb_read.host=10.0.0.45mongodb_read.port=27017mongodb_read.apname=ecspmongodb_read.username=mon转载 2017-11-28 15:51:12 · 766 阅读 · 0 评论 -
Kafka2MongoDB
实现了将Kafka中的数据推送给Mongodb,然后再将Mongodb中的数据推送给Es的过程。数据来源是来自txt文档中的180万条数据。准备工作:1)在Mongdb集群上创建一个数据库mydb,并创建一个空的Collection,命名为netflows[java] view plain copy@SuppressWarni转载 2017-11-28 16:31:41 · 2455 阅读 · 0 评论 -
kafka java
1.使用Producer API发送消息到Kafka从版本0.9开始被KafkaProducer替代。HelloWorldProducer.javapackage cn.ljh.kafka.kafka_helloworld;import java.util.Date;import java.util.Properties;import java.util.Ran转载 2017-11-28 18:52:03 · 159 阅读 · 0 评论 -
kafka java demo
Kafka学习8_kafka java 生产消费程序demo示例kafka是吞吐量巨大的一个消息系统,它是用scala写的,和普通的消息的生产消费还有所不同,写了个demo程序供大家参考。kafka的安装请参考官方文档。首先我们需要新建一个maven项目,然后在pom中引用kafka jar包,引用依赖如下: org.apache.kafka kafka_2转载 2017-11-28 18:53:16 · 253 阅读 · 0 评论 -
mongodb group
group分组统计是数据库比较常用的功能,mongodb也不例外。不过相对于普通的增删改查,group操作就略微麻烦一些,这里对group在shell中的操作、使用java原生代码操作以及集成spring进行操作进行一个简单的归纳总结,分组的途径和方法应该都有多种,这里每一样只举一例。本例中数据源如下:需要使用group实现的目的转载 2017-11-20 08:24:46 · 766 阅读 · 0 评论 -
使用java 操作mongodb的aggregate
MongoDB语句[html] view plain copydb.tsdata.aggregate([ {$match: { "lastUpdateTime" :{"$gte": ISODate("2016-07-22T16:00:00.000Z"),"$lte": ISODate("2016-07-23T16:00:00.0转载 2017-11-20 10:00:56 · 1231 阅读 · 0 评论 -
Kafka->Spark Streaming->mongodb
项目主要做实时,从kafka拉数据进行清洗保存到mongodb(注意:mongodb的save方法是根据_id替换整个事件),用空间数据查询geo环境(maven管理):dependency> groupId>org.scala-langgroupId> artifactId>scala-libraryartifactId> version>2.10.6转载 2017-11-15 10:28:06 · 1281 阅读 · 1 评论 -
java 定时任务
注:这里使用的是Quartz1.6.5版本(包:quartz-1.6.5.jar) [java] view plain copy//测试main函数 //QuartzTest.java package quartzPackage; import java.text.SimpleDa转载 2017-11-16 18:58:55 · 127 阅读 · 0 评论 -
linux 定时
介绍:crontab是一个linux下的定时执行工具,可以在无需人工干预的情况下运行作业。crontab 是Linux的内置服务,可以用以下的方法启动、关闭这个服务:/sbin/service crond start //启动服务/sbin/service crond stop //关闭服务/sbin/service crond restart //重启服务/sbin/se转载 2017-11-16 19:12:06 · 125 阅读 · 0 评论 -
mongodb 复制集合与数据库的方式
1. db.cloneCollection()db.cloneCollection(from, collection, query)在不同的mongodb实例间复制数据,db.cloneCollection是cloneCollection数据库命令的一个外在体现。?12345678function (fro转载 2017-11-27 16:57:31 · 10805 阅读 · 1 评论 -
mongodb集群搭建
关于MongoDB的windows的 安装,可以参考:http://www.runoob.com/mongodb/mongodb-window-install.html关于Linux的安装可以参考:http://www.runoob.com/mongodb/mongodb-linux-install.html使用MongoDB的场景:A:转载 2018-01-08 09:33:32 · 466 阅读 · 0 评论 -
Mongodb3.3.6 CentOS7分片实验环境搭建
Mongodb3.3.6 CentOS7分片实验环境搭建一、拓扑图二、部署1.Mongodb安装3台服务器都安装mongodb,安装包拷到/usr/local/下,为了清晰展示,每个节点创建一个mongodb,共创建了4个,其中,master、slave、arbiter搭建副本级。2、创转载 2018-01-08 09:40:53 · 308 阅读 · 0 评论 -
mongodb高可用读写分离
首先是配置方案:环境准备:[html] view plain copy#启动时需要使用非root用户,所有创建一个chiansun用户: useradd chiansun #为hadoop用户添加密码: echo 123456 | passwd --stdin chiansun #将chiansun转载 2018-01-24 16:31:07 · 1034 阅读 · 0 评论 -
mongodb需要配置仲裁节点
记录一下,MongoDB的角色创建及配置,以便以后使用经过大量血的教训,一个分片配置两个副本集时(一个是primary一个是secondary),如果primary挂掉,secondary是不会升级的,必须要加上一个不存储数据的仲裁节点简介 Replica Set,中文翻译叫做副本集,不过我并不喜欢把英文翻译成中文,总是感觉怪怪的。其实简单来说就是集群当中包含了多份数据,转载 2018-01-25 14:16:54 · 11113 阅读 · 0 评论 -
高可用、带监控的mongodb集群
目录:一、 集群的三个组件:二、 集群架构图:三、 集群的IP及端口规划:四、 集群在LINUX上的目录规划:五、 开始搭建集群:六、 集群监控(mongodb-mms)备注:mongodb学习资料 http://www.runoob.com/mongodb/mongodb-tutorial.html—————————————————————————————————————————————————转载 2018-01-19 08:59:36 · 1120 阅读 · 0 评论 -
mongodb开机自启动
MongoDB安装了以后,应当设置开机自启动。假设启动命令如下:sudo /db/mongodb/265/bin/mongod --config /db/conf/mongodb/mongodb.conf方法有二:1、把这句话写到把 /etc/rc.local,即可开机启动。第二种:2、将一个脚本放到/etc/init.d/比如,命名为/转载 2018-01-29 13:35:38 · 1596 阅读 · 0 评论 -
利用ogg 将oracle同步到mongodb
源端 oracle [oracle@node1 ogg]$ sqlplus /nologSQL*Plus: Release 11.2.0.4.0 Production on Sat Aug 27 10:07:16 2016Copyright (c) 1982, 2013, Oracle. All rights reserved.SQL> connect /as sysDBAConnecte...转载 2018-04-12 09:25:07 · 3111 阅读 · 0 评论 -
mongodb 复制集合和数据库
1. 复制数据库1.1 db.copyDatabase(fromdb,todb,fromhost,username,password,mechanism)后面四个选项可选:fromhost: 源db的主机地址,如果在同一个mongod实例内可以省略;username: 如果开启了验证模式,需要源DB主机上的MongoDB实例的用户名;password:转载 2017-11-27 16:50:06 · 3253 阅读 · 0 评论 -
maven 创建oracle
对于maven oracle 由于版权问题 需要手动下载jar 替换转载 2017-12-04 19:42:39 · 161 阅读 · 0 评论 -
IDEA maven集成springmvc hibernate
作为一个安卓程序员,最近得闲想上手一下java后端,结果被那些疯狂的配置文件折磨了一整天(我只是想简简单单的接上数据库,做个增删改查,返回个json而已,为什么要这样为难爸爸?),总算走通了一个demo,这里记录一下流程;我集成springmvc的时候主要借鉴文章:IntelliJ IDEA上创建Maven Spring MVC项目准备工作: 安装idea intellij转载 2017-12-04 13:41:18 · 343 阅读 · 0 评论 -
mongodb 复制collection时需要注意
前几天,在工作中遇到一个需求,需要将一个集合复制一份并且在复制后的集合上进行一些后处理,当时同事使用脚本进行的处理,先使用db.collection.copyTo()进行复制集合,然后在js脚本中遍历新集合中的记录,查询出需要处理的记录并进行相应更新处理。可是当时在现网执行的时候却出现了问题,在执行db.collection.copyTo()这个命令的时候,现网出现了频繁的告警转载 2017-12-01 11:23:31 · 1703 阅读 · 0 评论 -
mongodb对于时间的存储问题
mongodb如果是时间类型的数据入库,将会有以下操作。同时,在数据读取的时间仍然需要对其进行转换操作。除了知道时间是时间类型作统一,貌似没有其他方便之处。 date = new Date();//入库时间 var localTime = date.getTime(); var localOffset=date.ge原创 2017-11-17 09:20:46 · 14953 阅读 · 0 评论 -
mongodb中批量将时间戳转变通用日期格式
1,官网提供的mongodb遍历脚本:官方文档地址:https://docs.mongodb.org/manual/tutorial/remove-documents/>var arr = ["ab","cd","ef"]>var show = function(value,index,ar){ print(value) }>arr.forEach(show)abcdef1234转载 2017-11-17 09:34:03 · 2439 阅读 · 0 评论 -
mongodb数据库在linux下定时进行备份与清除
linux下每天定时备份mongo,经过了一番折腾终于完成了写shell脚本1.1 定时备份[plain] view plain copy#!/bin/bash sourcepath='/app/mongodb-linux-x86_64-2.4.1'/bin targetpath='/b转载 2017-12-01 17:24:14 · 595 阅读 · 0 评论 -
mongodb 备份与恢复
MongoDB数据备份在Mongodb中我们使用mongodump命令来备份MongoDB数据。该命令可以导出所有数据到指定目录中。mongodump命令可以通过参数指定导出的数据量级转存的服务器。语法mongodump命令脚本语法如下:>mongodump -h dbhost -d dbname -o dbdirectory-h:MongD转载 2017-10-23 15:28:51 · 289 阅读 · 0 评论 -
Mongodb集群节点故障恢复场景分析
一个适当配置的Mongodb分片集群是没有单点故障。本文描述了分片集群中存在的几种不同的潜在的节点故障场景,以及Mongodb对这些节点故障是怎么处理的。1、Mongos节点宕机一个Mongos进程应该运行在每一个应用程序服务器上,这个服务器应该独占这个Mongos进程,并且通过它与分片集群来通讯。Mongos进程不是持久化的,相反,它们在启动的时候从Config Server上收转载 2017-12-11 19:17:33 · 1143 阅读 · 0 评论 -
mongodb 数据库备份与恢复2
备份前的检查> show dbsMyDB 0.0625GBadmin (empty)bruce 0.0625GBlocal (empty)test 0.0625GB> use MyDBswitched to db MyDB> db.users.find(){ "_id" : ObjectId("4e290aa39a1945747b28f1ee"), "a"转载 2017-12-04 08:57:39 · 167 阅读 · 0 评论 -
开启mongodb 的web
修改/etc/mongodb.conf,添加如下行:httpinterface=truemongodb.conf内容如下:bash-4.2$ cat /etc/mongodb.conf port=27017 #端口 dbpath= /data/mongodb #数据文件存放目录 logpath= /data/mongodb/logs/mongodb.log #日志文转载 2017-12-04 11:50:59 · 6018 阅读 · 1 评论 -
MongoDB 查询超时异常的原因及解决办法
MongoDB 查询超时异常的原因及解决办法在对超过百万条记录的集合进行聚合操作时,偶尔会发生Read timed out 异常,本文分析了ConnectionTimeOut和SocketTimeOut的区别,并提出该问题的解决办法。作者:忙碌的键盘来源:oschina博客|2015-03-09 15:41 移动端 收藏 分享【沙龙】51CTO诚邀您9月23号和多位技术大...转载 2018-08-16 11:56:11 · 20083 阅读 · 0 评论 -
mongodb 增加删除字段
1 添加一个字段. url 代表表名 , 添加字段 content。 字符串类型。db.url.update({}, {$set: {content:""}}, {multi: 1})。2 删除一个字段db.url.update({},{$unset:{'content':''}},false, true)转载 2017-10-18 15:03:39 · 2010 阅读 · 0 评论