2013年03月_mib_2012

原创【转】MongoDB集群构建(Linux)

六台主机hostname分别为wens012~017IP：10.50.9.12~10.50.9.17下面为部署方案六个server，每个server上跑四个进程。进程一共分三类：shard server：启动守护进程mongod加上参数shardsvr即可。当然还有一些其他的配置。config server：启动守护进程mongod加上参数configs...

2013-03-15 16:20:46 71

原创【转】Mongodb与spring集成（4）------读写mongo GridFs中的文件

转自 http://blog.csdn.net/laigood12345/article/details/7414365 mongodb里面自带有一个分布式文件系统gridFs，它是以块的方式来存储文件的，一般的存储都够用了，国内一个使用例子是视觉中国使用它来进行上亿数据级的图片存储，可以看出这套文件系统还是挺强大的。下面介绍下如何用spring-data-mongodb来...

2013-03-12 09:55:37 229

原创【转】Mongodb分片示例

Mongodb分片实现 1、定义ConfigServer localhost:10000,MongosServer localhost:20000,Shard1Server localhost:30001,Shard2Server localhost:30002,Shard3Server localhost:30003(分片完成以后再添加)2、...

2013-03-12 09:55:24 85

原创【转】MongoDB 状态监控、备份复制及自动分片

如果MongoDB仅仅是一个文档型的数据库，那就没有什么亮点了，然而MongoDB最大优点在于读扩展，热备份，故障恢复以及自动分片（写扩展）。这节系列结束篇就把这些功能介绍一下。备份复制实现了数据库备份的同时，实现了读写分离，又实现了读操作的负载均衡，即一台主写服务器，多台从属备份和读服务器，并且支持备份和读的集群扩展。其中Replica Sets方式又支持故障切换，当主服务器down掉...

2013-03-12 09:55:14 148

原创【转】搭建mongodb分片(分片key选择)

Sharding分片概念这是一种将海量的数据水平扩展的数据库集群系统，数据分表存储在sharding的各个节点上，使用者通过简单的配置就可以很方便地构建一个分布式MongoDB集群。MongoDB 的数据分块称为 chunk。每个 chunk 都是 Collection中一段连续的数据记录，通常最大尺寸是 200MB，超出则生成新的数据块。要构建一个 MongoDB Shardin...

2013-03-12 09:55:03 161

原创【转】如何选择MongoDB的分片字段（Shard Key）

将存储在MongoDB数据库中的Collection进行分片需要选定分片Key（Shard key),对于分片Key的选定直接决定了集群中数据分布是否均衡、集群性能是否合理。那么我们究竟该选择什么样的字段来作为分片Key呢？有如下几个需要考虑点。以下述记录日志的Document为例：{ server : "ny153.example.com" , application ...

2013-03-11 10:48:15 97

原创【转】mongodb中删除数组内嵌对象文档

这个问题在做数据结构的时候经常用到，刚开始没怎么留意，因为我的数组都只是单元素文档：只有一个ObjectId，这样用pull操作完全没有问题，但后来用对象作为了数据的内容，就是数组内嵌的对象，这时候用pull就是各种不生效。发现Mongodb对数组内对象的get和pull使用的书写格式不一致。下面我列出可以使用的书写方式：先列出mongodb的数据结构{ "_id" : Ob...

2013-03-11 10:46:35 182

原创 MongoDB数据文件备份与恢复

MongoDB数据文件备份与恢复备份与恢复数据对于管理任何数据存储系统来说都是非常重要的。 1、冷备份与恢复——创建数据文件的副本（前提是要停止MongoDB服务器），也就是直接copy www.2cto.com MongoDB将所有数据都存储在数据目录下，默认是/data/db/（Windows下是C：\data\db\），启动MongoDB时也可以用--db...

2013-03-11 10:46:27 414

原创【转】mongodb数据迁移2种方式比较

环境说明：bbs数据采集的数据越来越多，目前是50G，每天大概以200W的数据量增长。而当前服务器1.2上面的空间不足，需要把数据迁移到空间足够大的1.3上面去尝试了2种方式对数据进行迁移，一种是rsync，直接拉取数据；另一种是使用mongodump/mongorestore1.rsync 操作步骤： 1.2： [mongodb] path = /data1/mongodb/data...

2013-03-11 10:46:14 79

原创【转】通过 Java 操作 MongoDB

mongodb的java驱动已经提供比较全的操作，分为三块： 1.普通用户操作 2.管理员操作 3.oplog操作具体可以添加一个eclipse testng插件，再在工程中导入testng.jar包即可看到。本文主要说明各个使用点和注意事项。 1.连接一个复制集（replica sets）mongod：复制集是mong...

2013-03-11 10:46:02 64

原创【转】为什么java无法连接搭在一台机器上的mongo复制集

这篇文章或许已经不再使用，测试版本为2.7.x，有兴趣可以测试最新版本一、问题说明：最近测试mongo复制集，由于没有机器，所以选择在一台虚拟机上搭建。然后使用mongo-java-driver连接。①、复制集初始化函数如下： > config = {_id: 'shard1', members: [{_id: 0, host: '127.0.0.1:...

2013-03-08 09:58:30 154

原创【转】mongodb java接入

mongodb的java驱动已经提供比较全的操作，分为三块：1.普通用户操作2.管理员操作3.oplog操作具体可以添加一个eclipse testng插件，再在工程中导入testng.jar包即可看到。本文主要说明各个使用点和注意事项。 1.连接一个复制集（replica sets）mongod：复制集是mongo解决稳定性的一个方案，也是可以实现读写分离的一...

2013-03-08 09:58:17 72

原创【转】mongodb集群relica set + sharding的安全认证

一、Mongodb-1.8.4的测试单个mongod安全认证通过启动时加--auth参数--authrelica set安全认证通过启动时加--keyFile参数--keyFile=/var/data/key/key1sharding没有安全认证,只能通过--bind_ip参数绑定监听IP--bind_ip 127.0.0.1对于集群relice sets + sharding...

2013-03-08 09:58:02 91

原创【转】MongoDB副本集运维

由于在我们的Mongodb一项目中，访问量会突然暴增两倍，故需要进行一系列的扩容，并且由于我们使用的是1.8.3-pre版本，还需要把他升级为1.8.3，所以在这次调整中，涉及到Mongodb的扩容、升级、主库切换等等一系列运维工作，也幸好有这样的机会，才让我更能掌握Mongodb，下面贴出操作的一些命令及一些步骤，以做后续查看！1、利用另外一台secondary机器传送数据2、在新机器上...

2013-03-08 09:57:37 83

原创【转】MongoDB分片中片键的选择

当MongoDB整个架构已经部署好以后，真正考验架构者能力的时候就到了：该如何选择片键。如果选择了一个不恰当的片键，他可能会在访问量变大的时候，使你的整个应用系统崩溃，同样好的片键可以构成一个良性的生态系统，根据需要增删服务器，MongoDB会确保系统一直正确的运行下去。咱们先看看几种不恰当的片键1，小基数片键假设我们有一个存储用户信息的应用程序，每个文档有一个cont...

2013-03-08 09:56:52 119

原创【转】Mongodb的Replica Sets + Sharding架构

MongoDB的Sharding机制解决了海量存储和动态扩容的问题，但离生产环境的高可靠，高可用还有距离，Sharding在单点出现故障时就无能为力了。但是MongoDB的副本集却可以很轻松的处理单点故障，所以就有了Replica Sets + Sharding的高可用，高安全的架构。架构如下： 1，shard服务器：使用Replica Sets确保每个数据节点都具有备份...

2013-03-07 14:17:06 75

原创【转】Mongodb数据分片的维护

Mongodb的Sharding维护也是就那几个命令，相对来说都很简单，结合实例做下演示。1，列出所有的Shard Server 注意一点是：需要连接到路由的admin下。listshards的参数1是一个固定的默认值，没有特殊的意义。2，查看Sharding的信息切换到Friends数据库，使用printShardingStatus(),可以看到当前Shar...

2013-03-07 11:59:20 119

原创 Mongodb数据分片的实现

副本集实现了网站的安全备份和故障的无缝转移，但是并不能实现数据的大容量存储，毕竟物理硬件是有极限的，这个时候就需要做分布式部署，把数据保存到其他机器上。Mongodb的分片技术就很完美的实现了这个需求。理解Mongodb的分片技术即Sharding架构什么是Sharding？说白了就是把海量数据水平扩展的集群系统，数据分表存储在Sharding的各个节点上。 ...

2013-03-07 11:54:35 101

原创【转】Mongodb副本集的维护

Mongodb副本集配置好以后，少不了维护，维护内容也不是很多，主要是现在状态和增删节点等。在说维护之前，得先说说Mongodb副本集的同步机制。数据复制的目的是使数据得到最大的可用性，避免单点故障引起的整站不能访问的情况的发生，Mongodb的副本集在同一时刻只有一台服务器是可以写的，副本集的主从复制也是一个异步同步的过程，是slave端从primary端获取日志，然后在自己身...

2013-03-07 11:51:10 143

原创【转】Mongodb实现副本集

既然使用Mongodb，就不得不用他的安全备份机制：副本集。Mongodb副本集是什么东西？通俗的讲就是用多台机器进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库当掉时在不需要用户干预的情况下自动切换其他备份服务器做主库。而且还可以利用副本服务器做只读服务器，实现读写分离，提高负载。需要指数的是：Mongodb的主从复制模式官方已经不在推荐使用了。 ...

2013-03-07 11:48:03 104

mib_2012的博客