nosql 海量数据存储 架构选择

开始用的 ssdb,但是存在同步经常 OUT_OF_SYNC 的问题,只能自己在程序里,往master 和slave 分别执行一次写入; 

很快 ssd 120g 满了,于是需要水平扩展了。

选择的 twemproxy,然后用程序手工迁移数据,100来G,100多个hash,几亿field,迁移花了近1天。前几天由于一个傻逼操作,把全部硬盘上的文件都搞坏了。数据全没了,一切得重新搞,于是想找个新架构


陌的 goredis server:  

陌陌CTO李志威《GoRedis:SSD替代内存方案》

https://github.com/latermoon/GoRedis

360 的pika

360开源的类Redis存储系统:Pika

https://github.com/Qihoo360/pika/blob/master/README_CN.md

存储打算在这2个里面选。然后就是 分片扩展,  twemproxy 扩展太麻烦,通过 twemproxy 搜到了 
决定选择 codis, codis 跟 哪个配合好呢?

环信实操干货:pika新特性支持codis slot迁移


codis 可以配合他们改造的 codis redis, ssdb, pika 

陌的 goredis 文档比较少,可能是公司人少,没人写文档了, 360的pika 文档多一些。 使用过程中总会遇到一些问题,文档多比较容易解决问题。

最后决定选   codis +pika。 选好了,就开始准备安装

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值