redis集群和安装

1.redis集群和常见集群的区别

我们以elasticsearch集群架构方案和redis集群方案做对比分析，redis集群的优点。

优点：因为redis是一个内存数据库，因此其采用无中心化的集群架构，使得与传统的中心节点转发的方式相比，其并发量和吞吐量都更大，并且不会因为中心节点压力过大影响集群的性能。

redis cluster节点分配：假设我们有三个主节点分别是：A, B, C 三个节点，它们可以是一台机器上的三个端口，也可以是三台不同的服务器。那么，采用哈希槽 (hash slot)的方式来分配16384个slot 的话，它们三个节点分别承担的slot 区间是：

节点A覆盖0－5460;
节点B覆盖5461－10922;
节点C覆盖10923－16383.

如果存入一个值，按照redis cluster哈希槽的算法： CRC16(‘key’)%16384 = 6782。 那么就会把这个key 的存储分配到 B 上了。同样，当我连接(A,B,C)任何一个节点想获取’key’这个key时，也会这样的算法，然后内部跳转到B节点上获取数据

新增一个节点D，redis cluster的这种做法是从各个节点的前面各拿取一部分slot到D上，我会在接下来的实践中实验。大致就会变成这样：

节点A覆盖1365-5460
节点B覆盖6827-10922
节点C覆盖12288-16383
节点D覆盖0-1364,5461-6826,10923-12287

同样删除一个节点也是类似，移动完成后就可以删除这个节点了。

2.redis安装

1. 假设已经准备了三台Linux机器（可以采用虚拟机virtualbox安装，并且以桥接方式配置网络，使得三台linux机器都有不同的局域网ip）。在每台机器的/etc/hosts目录下配置域名映射关系

192.168.31.88 hadoop-master #虚拟机1 linux
192.168.31.234 hadoop-slave01 #虚拟机2 linux
192.168.31.186 hadoop-slave02 #虚拟机3 linux
192.168.31.19 hadoop-macbook #本机macbook

1. 下载最新版redis
   https://redis.io/
2. 上传redis文件到虚拟机上，并进行编译（假设已安装了polysh)

#设置polysh登陆到~/.bash_profile
alias hadoop-login="polysh 'hadoop@hadoop-master' 'hadoop@hadoop-slave<01-02>' "
source ~/.bash_profile
#同时登陆三台机器
hadoop-login
#上传文件
scp wenyicao@192.168.31.19:/Users/wenyi/Downloads/redis-3.2.8.tar.gz ./
mv redis-3.2.8.tar.gz ~/workspace
cd workspace
tar -xvf redis-3.2.8.tar.gz
cd redis-3.2.8
#编译生成redis命令,并且将所有编译生成的bin命令copy到指定目录
make
make install PREFIX=/home/hadoop/workspace/redis-cluster
#因为机器有限需要在每台机器上启动两个redis进程，只需要配置不同端口即可（3master 3slave)
echo "export PATH=/home/hadoop/workspace/redis-cluster/bin:$PATH" >> ~/.bash_profile
source ~/.bash_profile

#设置实例1
mkdir master
cp /home/hadoop/workspace/redis-3.2.8/redis.conf /home/hadoop/workspace/redis-cluster/master/redis-master.conf
#修改配置文件
port 6379                                       //端口     
bind 192.168.31.234                             //修改为本机ip
daemonize    yes                               //redis后台运行
pidfile  /var/run/redis_6379.pid              //pidfile标识进程端口号
cluster-enabled  yes                           //开启集群 
cluster-config-file  nodes_6379.conf    //集群的配置  配置文件首次启动自动生成
cluster-node-timeout  15000                //请求超时  默认15秒，可自行设置
appendonly  yes                           //aof日志开启  有需要就开启，它会每次写操作都记录一条日志　


#设置实例2
mkdir slave
cp /home/hadoop/workspace/redis-3.2.8/redis.conf /home/hadoop/workspace/redis-cluster/master/redis-slave.conf
#修改配置文件
port 6380                                     //端口     
bind 192.168.31.234                             //修改为本机ip
daemonize    yes                               //redis后台运行
pidfile  /var/run/redis_6380.pid              //pidfile标识进程端口号
cluster-enabled  yes                           //开启集群 
cluster-config-file  nodes_6380.conf    //集群的配置  配置文件首次启动自动生成
cluster-node-timeout  15000                //请求超时  默认15秒，可自行设置
appendonly  yes                           //aof日志开启  有需要就开启，它会每次写操作都记录一条日志　

1. 启动redis进程

vim start-redis.sh
cd /home/hadoop/workspace/redis-cluster/master
redis-server redis-master.conf
cd /home/hadoop/workspace/redis-cluster/slave
redis-server redis-slave.conf
chmod 777 start-redis.sh
#开启redis进程
sh start-redis.sh
#检查每台虚拟机是否都启动成功
~/workspace/redis-cluster$ ps -ef | grep 'redis'
hadoop    2018     1  0 07:42 ?        00:00:59 ./redis-server 192.168.31.88:6379 [cluster]
hadoop    2022     1  0 07:42 ?        00:01:02 ./redis-server 192.168.31.88:6380 [cluster]
#单独机器加入redis集群
#拷贝集群命令
cp /home/hadoop/workspace/redis-3.2.8/src/redis-trib.rb /home/hadoop/workspace/redis-cluster/bin
#加入集群（每个master都有一个slave)
redis-trib.rb create --replicas 1 192.168.31.88:6379 192.168.31.88:6380 192.168.31.234:6379 192.168.31.234:6380 192.168.31.186:6379 192.168.31.186:6380
#检查加入集群是否成功
redis-trib.rb check 192.168.31.88:6379

>>> Performing Cluster Check (using node 192.168.31.88:6379)
M: 1f46b01cba0e6f42d51ff5d2206f37d27411ae16 192.168.31.88:6379
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
M: 40de1b50fcafc24cda55d4ae923efed3b4e4e649 192.168.31.186:6379
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
S: 99b6e22ecc195cfaa261f3a56226ddf24e9e5ac7 192.168.31.88:6380
   slots: (0 slots) slave
   replicates f2f54db7aecc20a0311ea7776cde758e52ba9086
M: f2f54db7aecc20a0311ea7776cde758e52ba9086 192.168.31.234:6379
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: e52ecfefc6898a4db9c159bdd04bf0c1e3629037 192.168.31.186:6380
   slots: (0 slots) slave
   replicates 40de1b50fcafc24cda55d4ae923efed3b4e4e649
S: 37f29c44cca874dc965ddb505219f267ad6dc270 192.168.31.234:6380
   slots: (0 slots) slave
   replicates 1f46b01cba0e6f42d51ff5d2206f37d27411ae16
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

如果执行redis-trib.rb 命令前需要安装ruby环境

sudo apt-get install ruby
sudo apt-get install rubygems  
gem install redis-3.2.8.gem  

1. 其他说明
   进程在第一次启动时会在master或者slave目录建立相关的数据库、日志文件、以及集群节点信息
   dump.rdb appendonly.aof nodes-6379.conf
   在第一次加入集群后节点间信息会写入nodes-6379文件中

40de1b50fcafc24cda55d4ae923efed3b4e4e649 192.168.31.186:6379 master - 0 1494036866836 5 connected 10923-16383
99b6e22ecc195cfaa261f3a56226ddf24e9e5ac7 192.168.31.88:6380 slave f2f54db7aecc20a0311ea7776cde758e52ba9086 0 1494036866399 3 connected
f2f54db7aecc20a0311ea7776cde758e52ba9086 192.168.31.234:6379 master - 0 1494036866995 3 connected 5461-10922
1f46b01cba0e6f42d51ff5d2206f37d27411ae16 192.168.31.88:6379 myself,master - 0 0 1 connected 0-5460
e52ecfefc6898a4db9c159bdd04bf0c1e3629037 192.168.31.186:6380 slave 40de1b50fcafc24cda55d4ae923efed3b4e4e649 0 1494036866836 6 connected
37f29c44cca874dc965ddb505219f267ad6dc270 192.168.31.234:6380 slave 1f46b01cba0e6f42d51ff5d2206f37d27411ae16 0 1494036866995 4 connected
vars currentEpoch 6 lastVoteEpoch 0

因此以后在启动redis集群的时候不需要再次执行redis-trib.rb create –replicas 1 192.168.31.88:6379 192.168.31.88:6380 192.168.31.234:6379 192.168.31.234:6380 192.168.31.186:6379 192.168.31.186:6380
只需要执行：sh start-redis.sh文件启动redis进程即可
可以通过调用redis-trib.rb check 192.168.31.88:6379发现已经是集群形式

3 开发的spring测试程序

http://blog.csdn.net/cweeyii/article/details/71369145