![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库
文章平均质量分 71
mib_2012
这个作者很懒,什么都没留下…
展开
-
用SQL删除重复记录的N种方法(转)
例如:id name value1 a pp2 a pp3 b iii4 b pp5 ...原创 2011-02-27 10:21:36 · 132 阅读 · 0 评论 -
【转】MongoDB:用户认证
MongoDB 安装后默认不启用认证,也就是说在本地可以通过 mongo 命令不输入用户名密码,直接登陆到数据库,下面介绍下启用 mongodb 用户认证,详细如下: 启用 mongodb 认证只需要在启动 mongod 服务时配置 auth 参数成 'true'即可可 ,在配置参数前先添加超级用户。一 启用认证--1.1 增加管理用户 > use adm...原创 2013-11-28 11:34:57 · 102 阅读 · 0 评论 -
【转】MongoDb的“not master and slaveok=false”错误及解决方法
首先这是正常的,因为SECONDARY是不允许读写的, 在写多读少的应用中,使用Replica Sets来实现读写分离。通过在连接时指定或者在主库指定slaveOk,由Secondary来分担读的压力,Primary只承担写操作。对于replica set 中的secondary 节点默认是不可读的,[mongodb@ligh bin]$ mongo 127.0.0.1:3333...原创 2013-11-28 11:31:49 · 958 阅读 · 0 评论 -
【转】mongodb Replica Sets +Sharding高可用集群搭建(含认证)
集群由三台服务器(假定ip地址为:serverA,serverB,serverC)组成,采用mongodb的复制集+分片(Replica Sets+Sharding) 实现集群的高可靠/高可用以及数据读写的负载均衡。 三台机器分成两个复制集,两个复制集组成一个集群的两个分片(shard1和shard2)。具体如下: 1、ServerA的s1-1 / ServerB的s1-2 / Serve...原创 2013-11-28 11:26:49 · 121 阅读 · 0 评论 -
【转】MongoDB-安全与认证
Mongodb的安全模式默认是关闭,此时它需要在一个可信任的运行环境中。在可信任的环境中使用默认的关闭安全模式最简单,但是需要确保可信任的设备访问数据库的TCP端口,这通常需要隔离数据库所在设备,使其完全无法访问外部网络。确保网络安全防火墙策略以下是数据库必须的默认端口:(sina博客的编辑器很操蛋,表格搞不过来)参见: http://www.mongodb.o...原创 2013-11-28 11:24:53 · 91 阅读 · 0 评论 -
Mongodb安全认证及Java调用
Mongodb安全认证在单实例和副本集两种情况下不太一样,单实例相对简单,只要在启动时加上 --auth参数即可,但副本集则需要keyfile。 一、单实例1.启动服务(先不要加auth参数)2.登陆后切换到admin库并添加管理员账号 2.1 创建系统管理员用户默认条件下,超级管理员只能用于帐号管理,不能进行其他数据库操作,可以通过自己给自己授权实现。生产环境中的...原创 2013-11-28 11:17:33 · 184 阅读 · 0 评论 -
Windows安装MongoDB
1)、下载MongoDBhttp://downloads.mongodb.org/win32/mongodb-win32-i386-2.0.4.zip2)、设置MongoDB目录将其解压到 d:\,再重命名为mongodb,路径为d:\mongodb3)、设置数据文件路径在d:盘建一个data文件夹,在data文件夹中新建db文件夹,路径d:\data\db4)、启动Mongo...原创 2012-08-01 11:49:59 · 70 阅读 · 0 评论 -
【转】MongoDB Replica Sets + Sharding 方案 及 chunks块 和 片键分析
以下就是我们将要搭建的mongdb集群架构创建第一个replset---------------------------------------------------------------------------------------------------------------------------------------------------创建目录...原创 2013-04-07 17:19:36 · 91 阅读 · 0 评论 -
mongodb配置文件(转自官网)
运行时数据库配置命令行和配置文件界面可为 MongoDB 管理员提供大量选项和设置,用于控制数据库系统的运行。该文档提供了通用配置以及普通使用案例的最佳配置示例。尽管两种界面都可访问相同的选项和设置集合,但该文档主要使用配置文件界面。如果您使用控制脚本或操作系统的程序包来运行 MongoDB,很可能已经有一个配置文件,该文件位于 /etc/mogondb.conf。检查/etc/init...原创 2013-04-07 17:15:54 · 159 阅读 · 0 评论 -
Mongodb一些命令
mongo –pathdb.AddUser(username,password) 添加用户db.auth(usrename,password) 设置数据库连接验证db.cloneDataBase(fromhost) 从目标服务器克隆一个数据库db.commandHelp(name) returns the help for the commanddb....原创 2013-12-01 15:00:30 · 93 阅读 · 0 评论 -
Mongodb Objectid保存长度注意
Mongodb Objectid长度最长24位,超过的话就会报错原创 2013-12-27 15:02:29 · 2058 阅读 · 0 评论 -
【转】Java操作Mongo实例
【MongoDB for Java】Java操作MongoDB上一篇文章: http://www.cnblogs.com/hoojo/archive/2011/06/01/2066426.html介绍到了在MongoDB的控制台完成MongoDB的数据操作,通过前一篇文章我们对MongoDB有了全面的认识和理解。现在我们就用Java来操作MongoDB的数据。 开发环境:Sy...原创 2013-09-27 16:01:48 · 114 阅读 · 0 评论 -
【转】Mongodb源码修改日志(分片连接数优化)
最近根据Mongodb使用中出现的一些问题,对Mongodb的源码进行了一些简单的修改,记录如下: 高连接数解决方案:mongodb连接池优化优化连接池使用效率,更细粒度的调整连接数设置,降低分片集群和复制集的连接数。1.mongos,mongod启动参数添加connPoolTimeout参数,设置连接数超时时间。2.添加connPoolTimeout 命令,设置超时时间 db.r...原创 2013-09-27 15:58:30 · 178 阅读 · 0 评论 -
Mongodb连接池参数
com.mongodb.MongoOptions源代码,其中有connectionsPerHost和threadsAllowedToBlockForConnectionMultiplier两个重要的属性。 connectionsPerHost:每个主机的连接数 threadsAllowedToBlockForConnectionMultiplier:线程队列数,它以上面conne...原创 2013-09-27 15:51:42 · 922 阅读 · 0 评论 -
Web项目操作Mongodb数据连接过多异常总结
项目中使用Mongodb存储图片及文件,在后台操作中没操作一个就实例化一个Mongo对象及连接池,也没有手动关闭,到时随着访问增加连接数不断增加(通过db.serverStatus().connections查看),最后导致mongodb拒绝web服务连接,web服务器抛出异常,经过改造后讲Mongodb的初始化通过spring实例化管理并设置成单例,代码中只要得到使用基本,不用重复实例化,随着...原创 2013-09-27 15:41:23 · 397 阅读 · 0 评论 -
mongodb常用命令
mongodb由C++写就,其名字来自humongous这个单词的中间部分,从名字可见其野心所在就是海量数据的处理。关于它的一个最简洁描述为:scalable, high-performance, open source, schema-free, document-oriented database。MongoDB的主要目标是在键/值存储方式(提供了高性能和高度伸缩性)以及传统的RDBMS系统...原创 2013-09-25 15:42:35 · 72 阅读 · 0 评论 -
mongodb相关操作命令
查询所有数据库列表 > show dbs 如果想查看当前连接在哪个数据库下面,可以直接输入db > db Admin想切换到test数据库下面 > use test switched to db test > db Test想查看test下有哪些表或者叫collection,可以输入 > show collections system.indexes user想知...原创 2013-09-25 15:37:52 · 73 阅读 · 0 评论 -
mongo用批处理启动副本集及备份
批处理启动副本集@echo offd:cd\mongodb\binmongod --port 27022 --dbpath "分片存放路径如 d:\mongodb\data" --logpath "日志存放路径如 d:\mongodb\log\log.log" --logappend --journal --replSet 副本集名如replSet01 --oplogSize 2...原创 2013-09-10 09:12:54 · 85 阅读 · 0 评论 -
struts1+mongodb下载文件方法
上传文件时通过读取文件得到二进制流直接保存到mongodb下载时先查询出二进制流然后直接输入到界面并下载 MongoManager mm = new MongoManager(); mm.getInstance(); DataProcessDao dataProcessDao = new DataProcessDao(); dataPr...原创 2013-08-28 16:32:24 · 77 阅读 · 0 评论 -
【转】MongoDB集群构建(Linux)
六台主机hostname分别为wens012~017IP:10.50.9.12~10.50.9.17下面为部署方案 六个server,每个server上跑四个进程。进程一共分三类:shard server:启动守护进程mongod加上参数shardsvr即可。当然还有一些其他的配置。config server:启动守护进程mongod加上参数configs...原创 2013-03-15 16:20:46 · 72 阅读 · 0 评论 -
【转】Mongodb与spring集成(4)------读写mongo GridFs中的文件
转自 http://blog.csdn.net/laigood12345/article/details/7414365 mongodb里面自带有一个分布式文件系统gridFs,它是以块的方式来存储文件的,一般的存储都够用了,国内一个使用例子是视觉中国使用它来进行上亿数据级的图片存储,可以看出这套文件系统还是挺强大的。下面介绍下如何用spring-data-mongodb来...原创 2013-03-12 09:55:37 · 234 阅读 · 0 评论 -
【转】mongodb集群relica set + sharding的安全认证
一、Mongodb-1.8.4的测试单个mongod安全认证通过启动时加--auth参数--authrelica set安全认证通过启动时加--keyFile参数--keyFile=/var/data/key/key1sharding没有安全认证,只能通过--bind_ip参数绑定监听IP--bind_ip 127.0.0.1对于集群relice sets + sharding...原创 2013-03-08 09:58:02 · 93 阅读 · 0 评论 -
【转】MongoDB副本集运维
由于在我们的Mongodb一项目中,访问量会突然暴增两倍,故需要进行一系列的扩容,并且由于我们使用的是1.8.3-pre版本,还需要把他升级为1.8.3,所以在这次调整中,涉及到Mongodb的扩容、升级、主库切换等等一系列运维工作,也幸好有这样的机会,才让我更能掌握Mongodb,下面贴出操作的一些命令及一些步骤,以做后续查看!1、利用另外一台secondary机器传送数据2、在新机器上...原创 2013-03-08 09:57:37 · 84 阅读 · 0 评论 -
【转】MongoDB分片中片键的选择
当MongoDB整个架构已经部署好以后,真正考验架构者能力的时候就到了:该如何选择片键。如果选择了一个不恰当的片键,他可能会在访问量变大的时候,使你的整个应用系统崩溃,同样好的片键可以构成一个良性的生态系统,根据需要增删服务器,MongoDB会确保系统一直正确的运行下去。咱们先看看几种不恰当的片键1,小基数片键 假设我们有一个存储用户信息的应用程序,每个文档有一个cont...原创 2013-03-08 09:56:52 · 120 阅读 · 0 评论 -
【转】Mongodb的Replica Sets + Sharding架构
MongoDB的Sharding机制解决了海量存储和动态扩容的问题,但离生产环境的高可靠,高可用还有距离,Sharding在单点出现故障时就无能为力了。但是MongoDB的副本集却可以很轻松的处理单点故障,所以就有了Replica Sets + Sharding的高可用,高安全的架构。 架构如下: 1,shard服务器:使用Replica Sets确保每个数据节点都具有备份...原创 2013-03-07 14:17:06 · 77 阅读 · 0 评论 -
【转】Mongodb数据分片的维护
Mongodb的Sharding维护也是就那几个命令,相对来说都很简单,结合实例做下演示。1,列出所有的Shard Server 注意一点是:需要连接到路由的admin下。listshards的参数1是一个固定的默认值,没有特殊的意义。2,查看Sharding的信息 切换到Friends数据库,使用printShardingStatus(),可以看到当前Shar...原创 2013-03-07 11:59:20 · 119 阅读 · 0 评论 -
【转】Mongodb副本集的维护
Mongodb副本集配置好以后,少不了维护,维护内容也不是很多,主要是现在状态和增删节点等。 在说维护之前,得先说说Mongodb副本集的同步机制。数据复制的目的是使数据得到最大的可用性,避免单点故障引起的整站不能访问的情况的发生,Mongodb的副本集在同一时刻只有一台服务器是可以写的,副本集的主从复制也是一个异步同步的过程,是slave端从primary端获取日志,然后在自己身...原创 2013-03-07 11:51:10 · 143 阅读 · 0 评论 -
【转】Mongodb实现副本集
既然使用Mongodb,就不得不用他的安全备份机制:副本集。Mongodb副本集是什么东西? 通俗的讲就是用多台机器进行同一数据的异步同步,从而使多台机器拥有同一数据的多个副本,并且当主库当掉时在不需要用户干预的情况下自动切换其他备份服务器做主库。而且还可以利用副本服务器做只读服务器,实现读写分离,提高负载。需要指数的是:Mongodb的主从复制模式官方已经不在推荐使用了。 ...原创 2013-03-07 11:48:03 · 104 阅读 · 0 评论 -
在多个节点上部署Oracle NoSQL数据库
1. 简介Oracle NoSQL数据库是一款基于Berkeley DB Java Edition构建的,分布式的,跨数据中心的Key-Value数据库。它是一款高性能,和极短的响应时间(毫秒级)的云数据库方案。Oracle NoSQL数据库使客户能够轻松地管理大量的,动态模式 (dynamic schemas) 的数据,如Web日志数据,传感器和智能仪表的数据,用户个性化数据,和社交网络的数...原创 2012-06-21 09:38:36 · 244 阅读 · 0 评论 -
【转】mongodb java接入
mongodb的java驱动已经提供比较全的操作,分为三块:1.普通用户操作2.管理员操作3.oplog操作具体可以添加一个eclipse testng插件,再在工程中导入testng.jar包即可看到。本文主要说明各个使用点和注意事项。 1.连接一个复制集(replica sets)mongod:复制集是mongo解决稳定性的一个方案,也是可以实现读写分离的一...原创 2013-03-08 09:58:17 · 76 阅读 · 0 评论 -
【转】为什么java无法连接搭在一台机器上的mongo复制集
这篇文章或许已经不再使用,测试版本为2.7.x,有兴趣可以测试最新版本一、问题说明: 最近测试mongo复制集,由于没有机器,所以选择在一台虚拟机上搭建。然后使用mongo-java-driver连接。①、复制集初始化函数如下: > config = {_id: 'shard1', members: [{_id: 0, host: '127.0.0.1:...原创 2013-03-08 09:58:30 · 156 阅读 · 0 评论 -
【转】Mongodb分片示例
Mongodb分片实现 1、定义ConfigServer localhost:10000,MongosServer localhost:20000,Shard1Server localhost:30001,Shard2Server localhost:30002,Shard3Server localhost:30003(分片完成以后再添加)2、...原创 2013-03-12 09:55:24 · 86 阅读 · 0 评论 -
【转】MongoDB 状态监控、备份复制及自动分片
如果MongoDB仅仅是一个文档型的数据库,那就没有什么亮点了,然而MongoDB最大优点在于读扩展,热备份,故障恢复以及自动分片(写扩展)。这节系列结束篇就把这些功能介绍一下。备份复制实现了数据库备份的同时,实现了读写分离,又实现了读操作的负载均衡,即一台主写服务器,多台从属备份和读服务器,并且支持备份和读的集群 扩展。其中Replica Sets方式又支持故障切换,当主服务器down掉...原创 2013-03-12 09:55:14 · 151 阅读 · 0 评论 -
【转】搭建mongodb分片(分片key选择)
Sharding分片概念这是一种将海量的数据水平扩展的数据库集群系统,数据分表存储在sharding的各个节点上,使用者通过简单的配置就可以很方便地构建一个分布式MongoDB集群。MongoDB 的数据分块称为 chunk。每个 chunk 都是 Collection中一段连续的数据记录,通常最大尺寸是 200MB,超出则生成新的数据块。要构建一个 MongoDB Shardin...原创 2013-03-12 09:55:03 · 165 阅读 · 0 评论 -
【转】如何选择MongoDB的分片字段(Shard Key)
将存储在MongoDB数据库中的Collection进行分片需要选定分片Key(Shard key),对于分片Key的选定直接决定了集群中数据分布是否均衡、集群性能是否合理。那么我们究竟该选择什么样的字段来作为分片Key呢?有如下几个需要考虑点。以下述记录日志的Document为例:{ server : "ny153.example.com" , application ...原创 2013-03-11 10:48:15 · 98 阅读 · 0 评论 -
【转】mongodb中删除数组内嵌对象文档
这个问题在做数据结构的时候经常用到,刚开始没怎么留意,因为我的数组都只是单元素文档:只有一个ObjectId,这样用pull操作完全没有问题,但后来用对象作为了数据的内容,就是数组内嵌的对象,这时候用pull就是各种不生效。发现Mongodb对数组内对象的get和pull使用的书写格式不一致。下面我列出可以使用的书写方式:先列出mongodb的数据结构{ "_id" : Ob...原创 2013-03-11 10:46:35 · 183 阅读 · 0 评论 -
MongoDB数据文件备份与恢复
MongoDB数据文件备份与恢复 备份与恢复数据对于管理任何数据存储系统来说都是非常重要的。 1、冷备份与恢复——创建数据文件的副本(前提是要停止MongoDB服务器),也就是直接copy www.2cto.com MongoDB将所有数据都存储在数据目录下,默认是/data/db/(Windows下是C:\data\db\),启动MongoDB时也可以用--db...原创 2013-03-11 10:46:27 · 419 阅读 · 0 评论 -
【转】mongodb数据迁移2种方式比较
环境说明:bbs数据采集的数据越来越多,目前是50G,每天大概以200W的数据量增长。而当前服务器1.2上面的空间不足,需要把数据迁移到空间足够大的1.3上面去 尝试了2种方式对数据进行迁移,一种是rsync,直接拉取数据;另一种是使用mongodump/mongorestore1.rsync 操作步骤: 1.2: [mongodb] path = /data1/mongodb/data...原创 2013-03-11 10:46:14 · 80 阅读 · 0 评论 -
【转】通过 Java 操作 MongoDB
mongodb的java驱动已经提供比较全的操作,分为三块: 1.普通用户操作 2.管理员操作 3.oplog操作 具体可以添加一个eclipse testng插件,再在工程中导入testng.jar包即可看到。 本文主要说明各个使用点和注意事项。 1.连接一个复制集(replica sets)mongod: 复制集是mong...原创 2013-03-11 10:46:02 · 64 阅读 · 0 评论 -
【转】MongoDB Java 连接池的注意事项
1.Mongo对象Mongo对象内部实现了一个连接池。Mongo对象是线程安全的,因此可以只创建一个,在多线程环境下安全使用。因 此,我们可以用将Mongo变量作为一个Singleton类的成员变量,从而保证只创建一个连接池。Mongo.close方法将关闭当前所有活跃的连 接。所以要在web工程被从Tomcat或者GlassFish容器中注销的时候确保调用close方法。2.DB对象...原创 2013-09-30 17:04:31 · 73 阅读 · 0 评论