分布式NoSQL数据库Pika——从单机到集群

背景

Pika是一个可持久化的大容量redis存储服务，兼容string、hash、list、zset、set的绝大部分接口(兼容详情)，解决redis由于存储数据量巨大而导致内存不够用的容量瓶颈。用户可以不修改任何代码从redis迁移到pika服务。由于单机pika容量受限于单块硬盘容量的大小，360公司业务和社区对分布式pika集群的需求越来越强烈，因此我们推出了原生分布式pika集群,发布pika版本v3.4。与pika+codis集群方案相比，pika集群不需要额外部署codis-proxy模块，同时由于codis对pika创建和管理slot操作的支持并不友好，需要运维人员大量介入。

架构

 

集群部署结构

以3个pika节点的集群为例，集群部署结构如上图所示：

1. 部署Etcd集群作为pika manager的元信息存储。

2. 3台物理机上分别部署pika manager，并配置好Etcd的服务端口。Pika manager会向etcd注册，并争抢成为leader。集群中有且只有一个pika manager能够成为leader并向etcd中写入集群数据。

3. 3台物理机上分别部署pika节点，然后把pika节点的信息添加到pika manager中。

4. 为了负载均衡，把pika的服务端口注册到LVS中。