Codis3手册

Codis3手册

1.     Codis3简介

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 CodisProxy 和连接原生的 RedisServer 没有显著区别 (不支持的命令列表),上层应用可以像使用单机的Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。

Codis 3.x 由以下组件组成：

• Codis Server：基于 redis-2.8.21 分支开发。增加了额外的数据结构，以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis的修改。

• Codis Proxy：客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表)，表现的和原生的 Redis 没有区别（就像 Twemproxy）。

• 
  

  • 对于同一个业务集群而言，可以同时部署多个 codis-proxy 实例；

• 
  

  • 不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

• Codis Dashboard：集群管理工具，支持 codis-proxy、codis-server 的添加、删除，以及据迁移等操作。在集群状态发生改变时，codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。

  • 对于同一个业务集群而言，同一个时刻 codis-dashboard 只能有 0个或者1个；

  • 所有对集群的修改都必须通过 codis-dashboard 完成。

• Codis Admin：集群管理的命令行工具。

  • 可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。

• Codis FE：集群管理界面。

  • 多个集群实例共享可以共享同一个前端展示页面；

  • 通过配置文件管理后端 codis-dashboard 列表，配置文件可自动更新。

• Codis HA：为集群提供高可用。

  • 依赖 codis-dashboard 实例，自动抓取集群各个组件的状态；

  • 会根据当前集群状态自动生成主从切换策略，并在需要时通过codis-dashboard 完成主从切换。

• Storage：为集群状态提供外部存储。

  • 提供 Namespace 概念，不同集群的会按照不同 product name 进行组织；

  • 目前仅提供了 Zookeeper 和 Etcd 两种实现，但是提供了抽象的 interface 可自行扩展。

    2.     Codis3架构

3.     Codis3部署

3.1.   物理架构图

3.2.   部署角色

3.2.1.     Codis-proxy

172.16.54.135:19000

172.16.54.136:19000

3.2.2.     Codis-server

172.16.54.135:7000、172.16.54.135:7001（主从）

172.16.54.136:7000、172.16.54.136:7001（主从）

3.2.3.     Codis-dashboard

172.16.54.135:18080

3.2.4.     Codis-fe

172.16.54.135:8082

3.3.   部署步骤

3.3.1.     环境准备

• 安装gcc

yum install –y gcc

• 安装go

下载地址：http://golangtc.com/static/go/1.5.2/go1.5.2.linux-amd64.tar.gz

  解压到/usr/local下

• 下载codis3源代码

下载地址：https://github.com/CodisLabs/codis/archive/3.0.2.tar.gz

备注：由于使用go get默认branch是master分支，而Codis3在release3.0分支，目前还不了解go get
下载指定branch，所以采用此方式

3.3.2.     编辑环境

1. 编辑profile文件

GOROOT=/usr/local/go
GOPATH=/usr/local/gopath
PATH=$PATH:$GOROOT/bin:$GOPATH/bin
export GOROOT GOPATH MYCAT_HOME PATH

安装完成后可以运行下列命令进行检测：

$ go version
go version go1.5.2 linux/amd64
$ go env GOPATH
/usr/local/gopath

1. 安装 godep 工具

$ go get -u github.com/tools/godep &&which godep
/usr/local/gopath/bin/godep

1. 编译安装Codis

mkdir /usr/local/gopath/src/github.com/CodisLabs
tar xf codis-3.0.2.tar.gz
mv codis-3.0.2 /usr/local/gopath/src/github.com/CodisLabs/codis
cd$GOPATH/src/github.com/CodisLabs/codis

执行make编译

make MALLOC=libc

注意：此时可能需要×××去下载一些包

 

安装完成后验证：

$ ll bin/
total 66908
drwxr-xr-x 4 root root      139 Mar 11 16:57 assets
-rwxr-xr-x 1 root root 17601368 Mar 11 16:57codis-admin
-rwxr-xr-x 1 root root 18416384 Mar 11 16:57codis-dashboard
-rwxr-xr-x 1 root root  9498696 Mar 11 16:57 codis-fe
-rwxr-xr-x 1 root root  9956728 Mar 11 16:57 codis-ha
-rwxr-xr-x 1 root root 11060656 Mar 11 16:57codis-proxy
-rwxr-xr-x 1 root root  1960969 Mar 11 16:52 codis-server
-rw-r--r-- 1 root root       96 Mar 11 16:52 version

 

$ cat bin/version
version = unknown version
compile = 2016-03-11 16:52:58 +0800 by go versiongo1.5.2 linux/amd64

 

3.4.   启动Codis3

3.4.1.     启动Codis Dashboard

1. 生成dashboard.toml文件

$ ./bin/codis-dashboard --default-config | tee dashboard.toml
##################################################
#                                                #
#                  Codis-Dashboard               #
#                                               #
##################################################
 
# Set Coordinator, only accept"zookeeper" & "etcd"
coordinator_name = "zookeeper"
coordinator_addr = "127.0.0.1:2181"
 
# Set Codis Product {Name/Auth}.
product_name = "codis-demo"
product_auth = ""
 
# Set bind address for admin(rpc),tcp only.
admin_addr = "0.0.0.0:18080"

2.修改dashboard.toml文件

product_name = "demo"
coordinator_addr = "172.16.54.135:2181"

3.启动dashboard

$ nohup ./bin/codis-dashboard --ncpu=4 --config=dashboard.toml \
    --log=dashboard.log --log-level=WARN &

3.4.2.     启动Codis Proxy

1. 生成proxy.toml文件

$ ./bin/codis-proxy --default-config | tee proxy.toml
##################################################
#                                               #
#                  Codis-Proxy                   #
#                                               #
##################################################
 
# Set Codis Product {Name/Auth}.
product_name = "codis-demo"
product_auth = ""
 
# Set bind address for admin(rpc),tcp only.
admin_addr = "0.0.0.0:11080"
 
# Set bind address for proxy,proto_type can be "tcp", "tcp4", "tcp6","unix" or "unixpacket".
proto_type = "tcp4"
proxy_addr = "0.0.0.0:19000"
 
# Set jodis address & sessiontimeout.
jodis_addr = ""
jodis_timeout = 10
 
# Proxy will ping-pong backendredis periodly to keep-alive
backend_ping_period = 5
 
# If there is no request fromclient for a long time, the connection will be droped. Set 0 to disable.
session_max_timeout = 1800
 
# Buffer size for each clientconnection.
session_max_bufsize = 131072
 
# Number of buffered requests foreach client connection.
# Make sure this is higher thanthe max number of requests for each pipeline request, or your client may beblocked.
session_max_pipeline = 1024
 
# Set period between keep alives.Set 0 to disable.
session_keepalive_period = 60

2.修改proxy.toml文件

product_name = "demo"
jodis_addr = "172.16.54.135:2181"

3.启动Proxy

$ nohup ./bin/codis-proxy --ncpu=4--config=proxy.toml \
   --log=proxy.log --log-level=WARN &

3.4.3.     启动Codis Server

与启动普通 redis 的方法一致，参考《codis简介以及安装指导手册》

3.4.4.     启动Codis FE（可选，但强烈建议启动）

1. 生成codis.json文件

$ ./bin/codis-admin --dashboard-list --zookeeper=172.16.54.135:2181| tee codis.json
[
    {
       "name": "demo",
       "dashboard": "172.16.54.135:18080"
    }
]

2.启动FE

$ nohup ./bin/codis-fe --ncpu=4 --log=fe.log--log-level=WARN \
   --dashboard-list=codis.json --listen=172.16.54.135:8082 &

3.4.5.     启动Codis HA（可选）

$ nohup ./bin/codis-fe--log=ha.log --log-level=WARN --dashboard=172.16.54.135:18080 &

3.5.   利用FE添加proxy、server以及slot

访问浏览器

http://172.16.54.135:8082

3.5.1.     添加proxy

添加成功后：

3.5.2.     新建group

3.5.3.     添加server

添加完成后，指定主从，7001为从，则需要点击下图按钮：

3.5.4.     初始化solts

迁移完后，如下图：

4.     Jodis客户端

• Maven：

<dependency>
  <groupId>io.codis.jodis</groupId>
  <artifactId>jodis</artifactId>
  <version>0.3.0</version>
</dependency>

• 代码：

JedisResourcePool jedisPool = RoundRobinJedisPool.create()
       .curatorClient("zkserver:2181", 30000).zkProxyDir("/zk/codis/db_xxx/proxy").build();
try(Jedis jedis = jedisPool.getResource()) {
    jedis.set("foo", "bar");
    String value = jedis.get("foo");
    System.out.println(value);
}

 

5.     附录

5.1.   Codis3与Codis2对比

    1. RPC 不再依赖 zookeeper/etcd 而改为基于 HTTP 的 RESTful API 请求，这是最大的改动：

• 集群的稳定性会提升，proxy 不会再因为 session expired 导致进程自己退出；

• 外部存储 zookeeper/etcd 负载降低，无论是连接数还是数据读写操作，数据结构的组织也简单；

• RPC 调用过程简单、直观，调试也容易；
  

• 
  

  • 要知道 Codis 2.x 的 RPC 都是通过读写 zookeeper/etcd 完成的，相对而言很复杂；

2. 对于 proxy 而言：稳定和可靠了

• 不再依赖外部存储，内部逻辑变得很简单，其他组件损坏也不会影响正常运行；

• 
  

  • Codis 2.x 中，proxy 会自己向外部进行注册，拉取状态，并根据事件自主计算状态并决策；

  • Codis 3.x 中，所有对外部存储的访问以及状态决策都由 dashboard 负责，并通过状态机，主动同步到每个 proxy 去；

• 自分配的 ID 设计，集群部署变得容易了一些；

• 
  

  • Codis 3.x 中，对 proxy 的操作都对ID 以及 NAME/AUTH 进行验证，误操作的可能性降低;

3. 对 dashboard 而言：变复杂了，但是比之前部署灵活和稳定（稳定待测）

• 对外部存储的访问，抽象出 CRUD/List 操作，目前仅实现了 zookeeper/etcd，但是扩展很容易；

• 
  

  • Codis 2.x 中各个组件都严重依赖外部存储；

  • Codis 3.x 中仅 dashboard 依赖外部存储的实现，并且 dashboard 是随时可替换的，存在与否不影响服务本身；

• 在程序内增加了集群状态的缓存，降低存储的访问压力；

• 更多的检查，和错误处理；

• 不再提供管理页面，而将其抽出来作为 codis-fe 实现；

• 
  

  • 单个 codis-fe 监控多个集群，同时 codis-fe 作为反向代理，结合 nginx 部署更容易；

2.   codis-ha和dashboard部署几个实例

都是1个

5.3.   codis-ha原理

codis-ha的话，他只做一件事，定期给每个master发ping，发现有master挂了就把其中一个slave提升为master。其他事情都不管，比如如果有多个slave，其余slave不会自动和新的master同步

5.4.   jodis获取Proxy报错：Proxy list empty

1. codis 3.x 里面，proxy 注册目录换成了 /codis3/xxx/proxy/yyy，同时也会写入 /zk/codis/db_xxx/proxy/yyy 以兼容 jodis。

2. codis的proxy需要指定jodis

#Set jodis address & session timeout.
jodis_addr= "172.16.54.135:2181"

具体可以参考：

https://github.com/CodisLabs/jodis/issues/10

 

转载于:https://blog.51cto.com/eric100/1750976