八、Redis Twemproxy (nutcracker)

一、Twemproxy (nutcracker) 介绍

Git 地址 :https://github.com/twitter/twemproxy

twemproxy 也叫 nutcracker，是 Twtter 开源的一个快速、轻量级的 Redis 和 Mencached 代理服务器，主要用于管理 Redis 和 memcached 集群，减少到后端缓存服务器的连接数量。

Twemproxy是一种代理分片机制，Twemproxy作为代理，可接受来自多个程序的访问，按照路由规则，转发给后台的各个Redis服务器，再原路返回。这个方案顺理成章地解决了单个Redis实例承载能力的问题。

Twemproxy 特性：

• 轻量级、快速
• 保持长连接
• 减少了直接与缓存服务器连接的连接数量
• 使用 pipelining 处理请求和响应
• 支持代理到多台服务器上
• 同时支持多个服务器池
• 自动分片数据到多个服务器上
• 实现完整的 memcached 的 ASCII 和再分配协议
• 通过 yaml 文件配置服务器池
• 支持多个哈希模式，包括一致性哈希和分布
• 能够配置删除故障节点
• 可以通过端口监控状态
• 支持 linux, *bsd,os x 和 solaris

二、编译Twemproxy

1. 下载源码

2. 安装依赖工具

   $ yum install automake libtool
   

3. 添加阿里云epel repository

   在aliyun mirror 上找到对应版本的repo: https://developer.aliyun.com/mirror/

   我这里用的是centos 7 :

   $ wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
   

4. 安装新版本 autoconf

   $ yum clean all
   # 查找新版本的autoconf，并安装
   $ yum search autoconf
   $ yum install autoconf268
   

5. 源码编译

   $ makereconf -fvi
   $ ./configure
   $ make
   

   编译完成后进入script目录下，可以找到nutcracker.init文件，这是个脚本文件可以打开看下。里面有指定了:

   • chkconfig

   • 执行程序：

     prog=“nutcracker”

   • 配置文件nutcracker.yml：

     OPTIONS="-d -c /etc/nutcracker/nutcracker.yml"

三、配置 Twemproxy

1. 将nutcracker.init 复制到 /etc/init.d/ 目录下，并添加执行权限

   $ cp nutcracker.init /etc/init.d/nutcracker
   $ chmod +x /etc/init.d/nutcracker
   

2. 回到编译目录下找到nutcracker.yml配置文件并复制到/tec/nutcracker/目录下

   $ mkdir /etc/nutcracker
   $ cp ./conf/nutcracker.* /etc/nutcracker/
   

3. 在编译文件的src目录下找到程序nutcracker，并复制到/usr/bin/下

   $ cp ./src/nutcracker /usr/bin/
   

4. 修改nutcracker.yml，文件中有配置好了几个参考模版。我们只需保留任意一个，然后修改services部分指向redis master就行。

   alpha:
     listen: 127.0.0.1:22121
     hash: fnv1a_64
     distribution: ketama
     auto_eject_hosts: true
     redis: true
     server_retry_timeout: 2000
     server_failure_limit: 1
     servers:
      - 192.168.79.155:6379:1
      - 192.168.79.156:6379:1
      - 192.168.79.157:6379:1
   

   auto_eject_host: 当连接一个server失败次数超过server_failure_limit值时，是否把这个server驱逐出集群，默认是false
   server_retry_timeout:单位毫秒，当auto_eject_host打开后，重试被临时驱逐的server之前的等待时间
   server_failure_limit: 当auto_eject_host打开后，驱逐一个server之前重试次数

5. 启动服务

   $ service nutcracker start
   

6. 连接到代理程序并测试

   $ redis-cli -p 22121
   
   127.0.0.1:22121> set k1 mytestk1
   127.0.0.1:22121> set k2 mytestk2
   127.0.0.1:22121> set name fdsad
   127.0.0.1:22121> set abda baddfs
   

   添加多个key 后再分别到多台 redis 上 get 验证，由于算法原因，可能会连续很多key存到了同一台redis, 所以多set一些不同的key验证。

四、其缺点：

• 不支持Redis的事务操作。

• 不支持针对多个值的操作，比如取sets的子交并补等。

• Twemproxy本身也是单点，需要用Lvs + Keepalived做高可用方案。

五、Redis 高可用集群架构