redis之使用twemproxy实现数据分片

1、安装好redis的测试实例：
本文测试端口是30002和30001
[root@localhost ~]# ps -ef | grep [r]edis-server
root      5135     1  0 19:57 ?        00:00:00 redis-server *:30001            
root     19272     1  0 May29 ?        00:00:47 redis-server *:30002 

2、安装autoconf（twemproxy编译安装需要）
下载链接：http://ftp.gnu.org/gnu/autoconf
（twemproxy的安装要求autoconf的版本在2.64以上）
选择autoconf-2.69

cd autoconf-2.69
make
make install

3、twemproxy下载安装：
下载链接：https://github.com/twitter/twemproxy
创建安装目录：mkdir -p /usr/local/twemproxy

cd twemproxy-master
autoreconf -fvi
./configure  --prefix=/usr/local/twemproxy/
make
make install

4、配置文件:
[root@localhost twemproxy-master]# cat /usr/local/twemproxy/conf/nutcracker.yml
zhaogp:
    listen: 127.0.0.1:7000
    hash: fnv1a_64
    distribution: ketama
    auto_eject_hosts: true
    redis: true
    server_retry_timeout: 30000
    server_failure_limit: 1
    servers:
      - 127.0.0.1:30001:1 master0
      - 127.0.0.1:30002:1 master1

5、启动：
nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/haha.log

6、测试：

[root@localhost ~]# redis-cli  -p 7000
127.0.0.1:7000> set b1 test1
OK
127.0.0.1:7000> set b1111 test2
OK
127.0.0.1:7000>
127.0.0.1:7000>
127.0.0.1:7000> set b111 test3
OK
127.0.0.1:7000>
127.0.0.1:7000>
127.0.0.1:7000> set b11111 test3
OK
127.0.0.1:7000>

分别登陆 30001和30002，可以看到数据已经分别写的不同的节点了。

测试节点宕机场景：
手动关掉一个节点，本来应该分布到该节点的数据，下次写入会写到其他节点。当改节点启动后，
会重新分配到该节点。
这个重新hash分配会导致缓存数据失效，甚至读到错误数据（如某节点反复宕机）。可以尝试结合redis-sentinel
做节点高可用

7、其他：
[root@localhost twemproxy-master]# nutcracker -h
This is nutcracker-0.4.0

Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file]
                  [-c conf file] [-s stats port] [-a stats addr]
                  [-i stats interval] [-p pid file] [-m mbuf size]

Options:
  -h, --help             : this help
  -V, --version          : show version and exit
  -t, --test-conf        : test configuration for syntax errors and exit
  -d, --daemonize        : run as a daemon
  -D, --describe-stats   : print stats description and exit
  -v, --verbose=N        : set logging level (default: 5, min: 0, max: 11)
  -o, --output=S         : set logging file (default: stderr)
  -c, --conf-file=S      : set configuration file (default: conf/nutcracker.yml)
  -s, --stats-port=N     : set stats monitoring port (default: 22222)
  -a, --stats-addr=S     : set stats monitoring ip (default: 0.0.0.0)
  -i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec)
  -p, --pid-file=S       : set pid file (default: off)
  -m, --mbuf-size=N      : set size of mbuf chunk in bytes (default: 16384 bytes)

如果一个服务器上开启多个twemproxy，需要指定不同的--stats-port,默认是22222：

例子：
[root@localhost twemproxy-master]# ps -ef | grep [n]utcracker
root     16085     1  0 May29 ?        00:00:00 nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o

/usr/local/twemproxy/run/haha.log
root     28443     1  0 May29 ?        00:00:00 nutcracker -d -c /usr/local/twemproxy/conf/nutcracker_new.yml -p /usr/local/twemproxy/run/redisproxy2.pid -o

/usr/local/twemproxy/run/haha2.log --stats-port=22221

参考：
https://github.com/twitter/twemproxy
http://mdba.cn/?p=157

 

 

 

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/20625855/viewspace-1678566/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/20625855/viewspace-1678566/