2015年05月_追寻北极

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Using varnish to accelerate file serving out of GridFS

After migrating some image files from file system to gridfs and serving them using nginx-gridfs, I realized that serving files out of gridfs is significantly slower than before (This is also stated

2015-05-30 15:36:35 858

原创 nginx-gridfs Benchmarking Raw Results

Raw DataSpreadsheet with test results (ODF format)These following links show the raw output from the benchmarking utilities.GridFS Over NetworkThis test scenario shows performance for

2015-05-30 15:25:10 1311

转载使用Apache Benchmark做压力测试遇上的5个常见问题

[文章作者：磨延城转载请注明原文出处： http://mo2g.com/view/50/ ]这一篇文章主要记录我在使用Apache Benchmark（一下检测ab）做网站压力测试的过程中,遇到的一些问题以及解决办法,方便日后使用.这一篇文章主要记录我在使用Apache Benchmark（一下检测ab）做网站压力测试的过程中，遇到的一些问题以及解决办法，方便日后使用。

2015-05-30 15:18:39 2245 2

转载使用Apache Benchmark给自己的网站进行测试

[文章作者：磨延城转载请注明原文出处： http://mo2g.com/view/38/ ]如果你是一位站长，随着自己苦心经营的网站越来越受欢迎，网站的流量与日俱增，那么，你是否了解自己的网站，最大能承受多少个用户同一时间对网站进行访问？如果网站长时间无法响应，或是响应速度太慢，这会导致有很多的抱怨接踵而至，比如：如果你是一位站长，随着自己苦心经营的网站越来越受欢迎，网站

2015-05-30 15:18:24 1841

转载 MongoDB亿级文件存储方案测试

测试目标：mongodb gridfs1 海量小文件（1K－50K）的插入速度测试2 亿级文件存储的读取速度测试3 了解mongodb扩展对存储容量、读写速度的影响4 mongodb的稳定性和缺陷测试一：单节点测试（4核＊ 32G内存）官方Client每秒插入速度：8000条（4000个1K文件）单节点保存1亿个文件后，硬盘写满了测

2015-05-30 15:07:38 3493

转载 MongoDB性能测试与Python测试代码

最近参与公司一个项目，计划对在线平台的大规模查询做到快速响应，预估数据总量大概在2-3亿条，数据库并发量大概每秒1500，一年后并发大概3000每秒，经过在Redis和mongodb之间艰难的选择之后，决定使用mongodb，主要看中其平行扩展能力和GridFS上的Map/Reduce。预估项目完成上线后，高峰时段每秒并发查询在1500-3000之间。其实我个人是比较喜欢Red

2015-05-30 15:07:23 966

转载 mongodb分片部署

1、mongodb分片科普 (各种罗嗦) Replica Set（副本集）：副本集使其组内的每个成员（member）在不同的mongod实例中具有相同的数据备份，这样可以将来自应用服务器的请求访问（request visit）得以均匀的分布在Replica Set的每一个成员所在的mongod实例上，用以减缓单台mongod服务器在请求负载上的压力。在一定时限内Replica Se

2015-05-30 10:30:43 602

转载 nginx + gridfs 实现图片的分布式存储(一) 安装

1、前期准备sudo yum -y install pcre-devel openssl-devel GeoIP-devel zlib-devel 2、下载nginx-gridfs源码，并将mongodb-mongo-c-driver源码添加到nginx-gridfs/mongo-c-driver中# 下载地址会因为代码版本号的变更不能使用，博友们自己搜一下吧。

2015-05-30 10:25:33 1764 1

转载闲谈MongoDb+GridFS+Nginx

MongoDb果然是个好东西. 我在最近的一个项目实践中, 实验性的用到了这个东西.在测试中,对于GridFS相当满意. 首先, 和传统的MogileFS不同, gridfs可以和其它的meta数据部署在同一个db中,默认的会为gridfs的collection分别创建fs.files和fs.chunks.当存储一个文件时,可以附加存入任意的附加信息,因为这些信息实际上也是一个普通的c

2015-05-30 10:13:33 669

转载 varnish / squid / nginx cache 有什么不同

毛伟，什么都略懂一点，生活就多彩一些you chang、夏小草、Shaopeng Ju 等人赞同squid是缓存服务器科班出生varnish是觉得squid性能不行，纯内存缓存服务器方案nginx cache是属于不务正业，得益于nginx强大的性能发布于 2013-03-20 2 条评论

2015-05-30 09:40:53 1264

转载使用Nginx的proxy_cache缓存功能取代Squid[原创]

[文章作者：张宴本文版本：v1.2 最后修改：2009.01.12 转载请注明原文链接：http://blog.zyan.cc/nginx_cache/]　　Nginx从0.7.48版本开始，支持了类似Squid的缓存功能。这个缓存是把URL及相关组合当作Key，用md5编码哈希后保存在硬盘上，所以它可以支持任意URL链接，同时也支持404/301/302这样的非200状态码。虽然目前官

2015-05-30 09:36:26 632

转载网址前端优化技巧

1 前端优化必要性随着互联网的发展，前端优化越来越被人们重视，在一个大型的大型电子商务网站技术架构中，前端架构一定是一项必不可少的工作，国内几个大型的互联网公司也有非常强大的前端技术人员。在业界享有名气淘宝 UED团队就有好几十人。在浏览器访问一个网站时，有 10%-20% 的时间是花在下载 HTML 上面，有 80%-90% 时间是花在下载页面中所有组件上面。如果我们

2015-05-30 09:26:51 550

原创使用 MongoDB 的兄弟，有没有采用 GridFS 做分布式文件系统的？

修改写补充说明举报添加评论分享 • 邀请回答按投票排序按时间排序6 个回答赞同8反对，不会显示你的姓名郭理靖，京东开放平台邓涛、Kenny、李波等人赞同压力以及数据量比较大的业务不推荐使用Mongo GridFS。Mongo GridF

2015-05-30 09:19:26 1671

转载分布式文件系统简介

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 Google学术论文，这是众多分布式文件系统的起源==================================Google Fil

2015-05-30 09:12:23 608

原创 Mongodb配置

1，Mongodb配置/usr/db/mongodb-linux-x86_64-2.0.2/bin/mongod --dbpath=/usr/db/data/sa --logpath=/usr/db/data/sa.log --port 38000 --fork --logappend --maxConns=500 --oplogSize=1000 –nohttpinterface

2015-05-30 09:06:48 493

转载 nginx+mongodb-gridfs+squid

原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://1008305.blog.51cto.com/998305/885340 Nginx+mongodb-gridfs+squid图片存储通过Nginx+mongodb-gridfs+squid实现简单的图片存储及图片缓存. 图片先从nginx本地c

2015-05-30 09:06:43 800

转载基于MongoDB GridFS的图片存储

商品图片，平均200－500K，说大不大，说小不小，但量大且细碎，最早通过页面上传，全部保存在文件里，且不分目录，管理和索引都很慢，几乎无法备份，读取也很慢。改进方案由大鱼设计，图片是保存在MySQL表里，每10万张图就换一张新表，操作语言是PHP，它解决了图片备份和缓存的问题。经过一段运行时间后，我对效果并不满意，主要是速度还是有些慢，尤其是第一次加载的过程。这期间又负责主体商品

2015-05-30 09:06:11 2226

转载 MongoDB GridFS 数据读取效率 benchmark

GridFS 是 MongoDB 下的一个子模块，利用这一模块，可以实现使用MongoDB存储文件，MongoDB 二进制包的bin目录下的mongofile 命令即可模拟实现该功能。原文链接：http://lgone.com/html/y2010/815.html数据来源：http://www.coffeepowered.net/2010/02/17/serving-fi

2015-05-30 08:32:55 1039

转载搭建高可用mongodb集群（四）—— 分片

按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做到自动扩展？在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，他不能解决海量数据怎么行！不

2015-05-28 15:11:15 647

转载 MongoDB水平分片集群学习笔记

为何需要水平分片mongodb sharding 服务器架构如何部署分片集群如何选择shard key如何查看shard信息备份cluster meta information查看balance 状态配置balance时间窗口修改chunk size何时会自动balance设置分片上最大的存储容量删除分片手动迁移分片预分配空chunk如何删

2015-05-28 15:08:23 1205

转载 MongoDB 常用故障排查工具

MongoDB 常用故障排查工具1.profileprofiling levels： 0,关闭profile；1，只抓取slow查询；2，抓取所有数据。启动profile并且设置Profile级别：可以通过mongo shell启动，也可以通过驱动中的profile命令启动，启动后记录会被保存在system.profile coll

2015-05-28 15:03:50 665

转载 MongoDB 分片问题汇总

分片是MongoDB的扩展方式,通过分片能够增加更多的机器来用对不断增加的负载和数据,还不影响应用.1.分片简介分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分散在不同的机器上,不需要功能强大的大型计算机就可以存储更多的数据,处理更大的负载.使用几乎所有数据库软件都能进行手动分片,应用需要维护与若干不同数据库服务器的连接,每个连接还是完全

2015-05-28 15:01:44 5868

转载 MongoDB使用小结

http://www.cnblogs.com/cswuyg/p/4355948.html最近一年忙碌于数据处理相关的工作，跟MongoDB打交道极多，以下为实践过程中的Q&A，后续会不定期更新补充。1、count统计结果错误这是由于分布式集群正在迁移数据，它导致count结果值错误，需要使用aggregate pipeline来得到正确统计结果，例如：db.

2015-05-28 14:59:39 1870

转载 Mongodb数据分片的维护(新增分片到已有的分片复制集)

Mongodb的Sharding维护也是就那几个命令，相对来说都很简单，结合实例做下演示。1，列出所有的Shard Server注意一点是：需要连接到路由的admin下。listshards的参数1是一个固定的默认值，没有特殊的意义。2，查看Sharding的信息切换到Friends数据库，使用printShardingStatus(),可以看到当前

2015-05-28 14:59:06 3045

转载 MongoDB基本管理命令

这篇MongoDB基本管理命令比较全面，转载保留，原文目录MongoDB命令帮助系统基本命令及实例一基本命令二基本DDL和DML三启动与终止四安全管理五数据备份恢复与迁移管理六远程连接管理MongoDB是一个NoSQL数据库系统：一个数据库可以包含多个集合（Collection），每个集合对应于关系数据库中的表；而每个集合中可以存储一组由列标识的记录，列是可以自由定

2015-05-28 14:55:24 878

转载 [mongodb翻译]选择合适的shard key

为一个集合（collection）选择合适的shard key非常重要。如果这个集合非常庞大，那么将来再来修改shard key将会很困难。如有任何疑问请到论坛或者IRC寻求帮助。示例文档{ server : "ny153.example.com" , application : "apache" , time : "2011-01-02T21:

2015-05-28 14:55:02 748

转载【mongoDB】备份(推荐)

方法一：使用文件复制形式，对mongoDB 进行数据文件的备份。[mongo@localhost ~]$ cat mongo_back.sh#!/bin/sh#su - mongosource /home/mongo/.bash_profile#对数据库进行加锁，禁止数据写入，并进行数据同步，将脏数据刷新到磁盘中。以确保数据目录中

2015-05-28 14:54:05 494

转载 MongoDB应用篇（分片键）

一、高级查询1. 查询操作符1.1 比较操作符$gt,$lt,$gte,$lte实例：select * from things where fieldvalue -- 等价于db.things.find({"field":{$lt:value}})select * from things where fieldvalue2 and field>value1 -- 等

2015-05-28 14:50:08 709

转载 Mongodb数据分片的实现(优秀)

副本集实现了网站的安全备份和故障的无缝转移，但是并不能实现数据的大容量存储，毕竟物理硬件是有极限的，这个时候就需要做分布式部署，把数据保存到其他机器上。Mongodb的分片技术就很完美的实现了这个需求。理解Mongodb的分片技术即Sharding架构什么是Sharding？说白了就是把海量数据水平扩展的集群系统，数据分表存储在Sharding的各个节点上。

2015-05-28 14:48:36 806

原创 MongoDB 自动分片 auto sharding(推荐)

MongoDB做为NoSQL数据库，最近几年持续升温，越来越多的企业都开始尝试用MongoDB代替原有Database做一些事情。MongoDB也在集群，分片，复制上也有相当不错的的表现。我通过将做各种MongoDB的部署实验进行介绍。原网址：http://blog.fens.me/mongodb-shard/ 第三篇 MongoDB 自动分片 auto sha

2015-05-28 14:42:34 1011

原创 mongodb3.0 单机数据迁移分片复制集

1,启用分片1,启用分片mongos> use adminswitched to db adminmongos> db.runCommand({enablesharding:"test"}){ "ok" : 1 }mongos> db.printShardingStatus()--- Sharding Status --- sharding version: { "_id

2015-05-28 14:17:04 2993

原创启动mongodb报错child process failed

1,当用命令 /usr/local/mongodb/bin/mongod --dbpath=/usr/local/mongodb/data --logpath=/usr/local/mongodb/logs/mongod.log --fork启动mongodb时，报如下错误：child process failed, exited with error number 100这是因为非正

2015-05-28 09:13:45 5333

原创 mogodb备份注意事项

MongoDB数据库的备份,恢复与迁移,回滚备份与恢复在创建MongoDB服务的时候，通过--dbpath指定目录就是存放mongdb数据库文件目录，我们可以通过复制这些文件实现数据库的冷备，但是这种方式不太安全。因此在冷备前，要关闭服务器，这个在第一节中介绍过平滑关闭server的命令。>use admin >db.shutdownServer（）或者可以通过fsync方式使

2015-05-27 14:25:00 773

转载通过mongodump和mongorestore实现Mongodb备份和恢复

Mongodb自带了mongodump和mongorestore这两个工具来实现对数据的备份和恢复。mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档写入磁盘。但是存在的问题时使用mongodump产生的备份不一定是数据库的实时快照，如果我们在备份时对数据库进行了写入操作，则备份出来的文件可能不完全和Mongodb实时数据相等

2015-05-27 14:19:43 757

转载 mongodb备份与恢复(上)

数据定期备份是非常有必要的，数据的重要性不言而喻，地球上的猪都会知道。mongodb备份方式有三种，下面分别说到：1. 文件快照方式2. 复制数据文件方式3. 使用mongodump方式一. 备份单台mongodb1. 文件快照方式这是最简单的备份方法。但是，需要系统文件支持快照和mongod必须启用journal。如果都符合这两条要求，可以在任何时刻创建快

2015-05-27 14:15:20 614

转载 mongodb 备份还原导出导入

mongodb数据备份和还原主要分为二种，一种是针对于库的mongodump和mongorestore，一种是针对库中表的mongoexport和mongoimport。一，mongodump备份数据库1，常用命令格mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径如果没有用户谁，可

2015-05-27 14:11:48 401

转载 mongodb数据库的备份与恢复

不用多想，数据的备份无论什么时候都是必须的，尤其是重要数据。先介绍下命令语法：./mongodump -h 127.0.0.1:10001 -d lietou -o /usr/local/data-h：MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:10001-d：需要备份的数据库实例，例如：lietou-o：备份的数

2015-05-27 14:11:08 531

转载 Nagios监控数据库的方法

Nagios监控数据库的方法：check_mysql_health监控数据库1、check_mysql_health安装在监控服务器上安装# cd /usr/local/src/tarbag # wget http://labs.consol.de/wp-content/uploads/2010/03/check_mysql_health-2.1.1.tar.gz # ta

2015-05-27 14:11:03 1393

原创 mogodb备份机制

一，通过copy mogodb文件的方式备份还原。(建议copy的时候mogodb锁定禁止写入，避免导出的文件与原库文件部分数据不一致，或者导出的文件格式损坏)1,通过FTP将生产的mogodb文件copy下来2,在window下恢复C:\Program Files\MongoDB 2.6 Standard\bin>mongod.exe -dbpath E:\mogo_

2015-05-27 14:10:30 1374