redis,memcache,mongodb对比

这段时间对memcache,redis,mongodb 3种nosql进行了熟悉，简单的总结了下。


1.从3者的性能来看，memcache性能是最好的，redis次之(redis有单进程限制，会碰到cpu 100%的限制，这个也比较难比较，一个多进程，一个单进程)
2.从ha和scale out的角度来看，mongodb的灵活性和可用性最高。。memcache本身不怎么支持高可用。。需要前端实现persistence hash或者proxy。。
Redis虽然支持m-s和m-s-s的结构，但是其对网络的依赖比较大，m-s之间的丢包也可能导致一次全量的镜像产生。
Redis和memcache的横向扩展方式是一样的，但是单个的redis比较容易遇到cpu的瓶颈
3.从存储的数据类型来看，mongodb最丰富，而且操作也比较灵活，支持类sql的查询。。memcache是纯粹的key-value，数据结构单一
4.从数据的备份角度来看，memcache数据备份不太方便，需要3方工具，redis可以用持久化，mongodb的数据备份方法则比较多。

总结来说；

1.如果业务对数据的持久化没什么要求，数据结构比较单一，目的是做前端缓存的话，memcache会提供比较好的性能表现

2.如果业务对数据的持久化有要求，需要备份，支持读写分离的话，用redis做缓存比较合适（也可以做一部分的后端存储）

3.mongodb主要是用在大量数据的后端存储上，支持auto sharding和自动故障转移，可用性比较高和hadoop群集类似

目前我们对nosql的使用还不太完善，包括一些监控，比如redis的定时monitor监控。对性能的分析也基本没有。。

比如redis和mongodb都是有slow log的，但是我们线上都没有开启更没有进行分析。。。这个可能是后续要做的事情。。

下面是一个简单的对比表：

对比参数	memcache	redis	mongodb
数据库类型	纯粹的key-value数据库，数据结构单一	结构化数据库	对象数据库
支持数据类型	string	string,list,sort,sorted,hash	丰富的数据表达，索引，类似于关系型数据库
可用性	没有数据冗余机制，使用一致性hash增加可用性	支持ms,mss结构，slave重连主节点会导致一次全量同步产生，影响性能和效率。可以实现读写分离，slave重连使用全量数据，性能和效率会有问题，不支持自动sharding，需要程序上实现一致性hash	支持ms,支持replication set，set可以自动故障转换，支持auto sharding
持久化支持	数据完全放在内存中，没有持久化支持	支持持久化，快照持久化和aof持久化	1.8版本开始采用binlog方式支持持久化的可靠性
内存空间优化	最大内存限制，LRU算法淘汰（可选）	独立的vm机制,最大内存限制，数据ttl过期设置，内存淘汰（可选）	依赖于操作系统的vm管理机制,使用内存映射文件，把剩余内存作为缓存使用，没有最大内存限制，数据存在文件系统上和内存
是否是多线程	是，可以通过-t控制进线程数	单线程	多线程
性能	15W/s的GET,11W/s的SET	单个实例qps:8.5W左右（GET/SET）（RH2285）	单个qps:3.5W左右（GET/SET）（RH2285）
事务支持	并发场景下，用cas保证一致性	事务支持比较弱，保证每个事务操作连续执行，如果一个操作失败，不会回滚。使用乐观锁实现cas。	不支持事务
数据分析	简单的get查询功能	简单查询功能,支持对集合和hash的操作等	查询方便，有类似于sql的语法，支持条件查询
应用场景	常作为前端缓存	缓存和数据存储，队列	大数据量存储
feature		支持使用pipeline减少查询次数	auto sharding，故障自动切换，mapreduce支持，大文件下的GridFs文件系统
安全性问题	目前没有身份验证	支持密码验证（requirepass）	支持collection级别的身份验证（auth）
数据备份和还原	数据存放于内存中，不方便备份和还原（stats cachedump）	可以使用持久化做备份和还原	mongodump倍份,mogorestore还原。数据导出：mongoexport,mongoimport,导出数据支持csv格式
slowlog相关	没有slowlog相关的设置	支持slowlog，slowlog存在于数据库中，使用slowlog get获取相关日志，slowlog的大小有限制，超过后会删除旧的	支持slowlog（profiling），slowlog存在于system.profile（capped collection）的collection中
状态查看	stats	info	mongostat,db.serverStatus(),db.stats(),rs.statsu()等
前操作查看		monitor	mongosniff,db.currentOp()
tunning	1.object size不要太大（默认只支持1M）     2.object 的expires设置（缓存应该具有超时的特点）                                        3.适合数据处理后的缓存，不适合缓存后的处理输出	1.开启vm，将不常用的value值给交换到磁盘上            2.尽量将数据存放在内存中        3.前端使用proxy或persistence hash来实现均衡访问    4.使用master-slave结构，做读写分离       5.大数据量时持久化数据dump时影响服务，应该放在slave端做        6.使用pipeline聚合访问         7.网卡bonding	1.索引相关(读多写少时)                 2.explain解析查询            3.限定返回条目（limit）       4.只查看指定需要字段，不查询所有字段                     5.使用capped collection （特殊业务）     6.使用repl sets,扩展整体集群能力