一. 首先,我们先了解一下Redis
1.Redis 简介
Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。
Redis 与其他 key - value 缓存产品有以下三个特点:
- Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
- Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
- Redis支持数据的备份,即master-slave模式的数据备份。
2.Redis 优势
- 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
- 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
- 原子 – Redis的所有操作都是原子性的,同时Redis还支持对几个操作全并后的原子性执行。
- 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。
3.Redis与其他key-value存储有什么不同?
Redis有着更为复杂的数据结构并且提供对他们的原子性操作,这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明,无需进行额外的抽象。
Redis运行在内存中但是可以持久化到磁盘,所以在对不同数据集进行高速读写时需要权衡内存,因为数据量不能大于硬件内存。在内存数据库方面的另一个优点是,相比在磁盘上相同的复杂的数据结构,在内存中操作起来非常简单,这样Redis可以做很多内部复杂性很强的事情。同时,在磁盘格式方面他们是紧凑的以追加的方式产生的,因为他们并不需要进行随机访问。
二. Redis的安装
1.Redis的安装
Redis是c语言开发的。
安装redis需要c语言的编译环境。如果没有gcc需要在线安装。yum install gcc-c++
在线下载redis:
wget http://download.redis.io/releases/redis-3.0.2.tar.gz
安装步骤:
第一步:redis的源码包上传到linux系统。
第二步:解压缩redis。
第三步:编译。进入redis源码目录。make
第四步:安装。make install PREFIX=/usr/local/redis
PREFIX参数指定redis的安装目录。一般软件安装到/usr/local目录下
2.Redis的启动
redis的启动分两种:
前端启动:在redis的安装目录下直接启动redis-server
[root@localhost bin]# ./redis-server
后台启动:
把/root/redis-3.0.0/redis.conf复到/usr/local/redis/bin目录下
[root@localhost redis-3.0.0]# cp redis.conf /usr/local/redis/bin/
修改配置文件:
将daemonize no 改为 yes,表示允许后端启动
[root@localhost bin]# ./redis-server redis.conf
启动完成,查看redis进程:
[root@localhost bin]# ps aux|grep redis
3.连接Redis
[root@localhost bin]# ./redis-cli
默认连接localhost运行在6379端口的redis服务。
指定连接:
[root@localhost bin]# ./redis-cli -h 192.168.25.153 -p 6379
-h:连接的服务器的地址
-p:服务的端口号
关闭redis:
[root@localhost bin]# ./redis-cli shutdown
三.Redis结构介绍
1.Redis五种数据类型
String:key-value
Redis中所有的数据都是字符串。命令不区分大小写,key是区分大小写的。Redis是单线程的。Redis中不适合保存内容大的数据,因为大的数据处理会影响后面数据的存取速度。
基础命令:
set,get 设置和取出一个Key的Value值
incr:整数原子加一(生成id)
decr:整数原子减一
append:追加一个值到Key上
Hash:key-fields-values
相当于一个key对于一个map,map中还有key-value。
使用hash对key进行归类。
基础命令:
Hset:向hash中添加内容
Hget:从hash中取内容
String和Hash一般用来做缓存,使用次数较多。
List:有顺序可重复
基础命令:
192.168.73.0:6379> lpush list1 a b c d
(integer) 4
192.168.73.0:6379> lrange list1 0 -1
1) "d"
2) "c"
3) "b"
4) "a"
192.168.73.0:6379> rpush list1 1 2 3 4
(integer) 8
192.168.73.0:6379> lrange list1 0 -1
1) "d"
2) "c"
3) "b"
4) "a"
5) "1"
6) "2"
7) "3"
8) "4"
192.168.73.0:6379>
192.168.73.0:6379> lpop list1
"d"
192.168.73.0:6379> lrange list1 0 -1
1) "c"
2) "b"
3) "a"
4) "1"
5) "2"
6) "3"
7) "4"
192.168.73.0:6379> rpop list1
"4"
192.168.73.0:6379> lrange list1 0 -1
1) "c"
2) "b"
3) "a"
4) "1"
5) "2"
6) "3"
192.168.73.0:6379>
Set:元素无顺序,不能重复
基础命令:
192.168.73.0:6379> sadd set1 a b c c c d
(integer) 4
192.168.73.0:6379> smembers set1
1) "b"
2) "c"
3) "d"
4) "a"
192.168.73.0:6379> srem set1 a
(integer) 1
192.168.73.0:6379> smembers set1
1) "b"
2) "c"
3) "d"
192.168.73.0:6379>
SortedSet(zset):有顺序,不能重复
基础命令:
192.168.73.0:6379> zadd zset1 2 a 5 b 1 c 6 d
(integer) 4
192.168.73.0:6379> zrange zset1 0 -1
1) "c"
2) "a"
3) "b"
4) "d"
192.168.73.0:6379> zrem zset1 a
(integer) 1
192.168.73.0:6379> zrange zset1 0 -1
1) "c"
2) "b"
3) "d"
192.168.73.0:6379> zrevrange zset1 0 -1
1) "d"
2) "b"
3) "c"
192.168.73.0:6379> zrange zset1 0 -1 withscores
1) "c"
2) "1"
3) "b"
4) "5"
5) "d"
6) "6"
192.168.73.0:6379> zrevrange zset1 0 -1 withscores
1) "d"
2) "6"
3) "b"
4) "5"
5) "c"
6) "1"
192.168.73.0:6379>
还有Redis key的几个命令,一起写上
expire key second:设置key的过期时间
ttl key:查看key的有效期
persist key:清除key的过期时间。Key持久化。
192.168.73.0:6379> expire Hello 100
(integer) 1
192.168.73.0:6379> ttl Hello
(integer) 77
2.Redis的持久化方案
Redis的所有数据都是保存到内存中的。
Rdb:快照形式,定期把内存中当前时刻的数据保存到磁盘。Redis默认支持的持久化方案。
aof形式:append only file。把所有对redis数据库操作的命令,增删改操作的命令。保存到文件中。数据库恢复时把所有的命令执行一遍即可。
在redis.conf配置文件中配置。
Rdb形式的配置:
Aof形式的配置:
两种持久化方案同时开启,都可用来恢复数据库。
Redis基础介绍完毕,下面我们说一下Redis集群。
四.Redis集群
1.Redis集群的结构
redis-cluster架构图
redis-cluster投票:容错
架构细节:
(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.
(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.
(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可
(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value
Redis槽:Redis 集群中内置了 16384 个哈希槽,当需要在 Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。
2.Redis集群的搭建
edis集群中至少应该有三个节点。要保证集群的高可用,需要每个节点有一个备份机。
Redis集群至少需要6台服务器。
搭建伪分布式。可以使用一台服务器运行6个redis实例。需要修改redis的端口号7001-7006
1、使用ruby脚本搭建集群。需要ruby的运行环境。
安装ruby
yum install ruby
yum install rubygems
2、安装ruby脚本运行使用的包。
[root@localhost ~]# gem install redis-3.0.0.gem
Successfully installed redis-3.0.0
1 gem installed
Installing ri documentation for redis-3.0.0...
Installing RDoc documentation for redis-3.0.0...
[root@localhost ~]#
[root@localhost ~]# cd redis-3.0.0/src
[root@localhost src]# ll *.rb
-rwxrwxr-x. 1 root root 48141 Apr 1 2015 redis-trib.rb
3.修改Redis的配置文件
需要将Redis的集群权限打开
然后分别修改每个Redis的实例端口
Port分别为7001-7006
4..启动每个redis实例。
5.使用ruby脚本搭建集群。
./redis-trib.rb create --replicas 1 192.168.73.0:7001 192.168.73.0:7002 192.168.73.0:7003 192.168.73.0:7004 192.168.73.0:7005 192.168.73.0:7006
搭建成功界面:
[root@localhost redis-cluster]# ./redis-trib.rb create --replicas 1 192.168.73.0:7001 192.168.73.0:7002 192.168.73.0:7003 192.168.73.0:7004 192.168.73.0:7005 192.168.73.0:7006
>>> Creating cluster
Connecting to node 192.168.73.0:7001: OK
Connecting to node 192.168.73.0:7002: OK
Connecting to node 192.168.73.0:7003: OK
Connecting to node 192.168.73.0:7004: OK
Connecting to node 192.168.73.0:7005: OK
Connecting to node 192.168.73.0:7006: OK
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.73.0:7001
192.168.73.0:7002
192.168.73.0:7003
Adding replica 192.168.73.0:7004 to 192.168.73.0:7001
Adding replica 192.168.73.0:7005 to 192.168.73.0:7002
Adding replica 192.168.73.0:7006 to 192.168.73.0:7003
手动创建关闭集群的脚本:
[root@localhost redis-cluster]# vim shutdow-all.sh
redis01/redis-cli -p 7001 shutdown
redis01/redis-cli -p 7002 shutdown
redis01/redis-cli -p 7003 shutdown
redis01/redis-cli -p 7004 shutdown
redis01/redis-cli -p 7005 shutdown
redis01/redis-cli -p 7006 shutdown
[root@localhost redis-cluster]# chmod u+x shutdow-all.sh
6.测试连接集群
Redis-cli连接集群。
[root@localhost redis-cluster]# redis01/redis-cli -p 7002 -c
-c:代表连接的是redis集群
五.java环境下使用Redis
1.Redis客户端Jedis使用
首先,添加Redis的客户端Jedis依赖的jar包到工程中
<!-- Redis客户端 -->
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
</dependency>
连接单机版,使用JedisPool连接池
第一步:创建一个JedisPool对象。需要指定服务端的ip及端口。
第二步:从JedisPool中获得Jedis对象。
第三步:使用Jedis操作redis服务器。
第四步:操作完毕后关闭jedis对象,连接池回收资源。
第五步:关闭JedisPool对象。
@Test
public void testJedisPool() throws Exception {
// 第一步:创建一个JedisPool对象。需要指定服务端的ip及端口。
JedisPool jedisPool = new JedisPool("192.168.73.0", 6379);
// 第二步:从JedisPool中获得Jedis对象。
Jedis jedis = jedisPool.getResource();
// 第三步:使用Jedis操作redis服务器。
jedis.set("jedis", "test");
String result = jedis.get("jedis");
System.out.println(result);
// 第四步:操作完毕后关闭jedis对象,连接池回收资源。
jedis.close();
// 第五步:关闭JedisPool对象。
jedisPool.close();
连接集群版,使用JedisCluster对象
第一步:使用JedisCluster对象。需要一个Set参数。Redis节点的列表。
第二步:直接使用JedisCluster对象操作redis。在系统中单例存在。
第三步:打印结果
第四步:系统关闭前,关闭JedisCluster对象。
@Test
public void testJedisCluster() throws Exception {
// 第一步:使用JedisCluster对象。需要一个Set参数。Redis节点的列表。
Set nodes = new HashSet<>();
nodes.add(new HostAndPort(“192.168.73.0”, 7001));
nodes.add(new HostAndPort(“192.168.73.0”, 7002));
nodes.add(new HostAndPort(“192.168.73.0”, 7003));
nodes.add(new HostAndPort(“192.168.73.0”, 7004));
nodes.add(new HostAndPort(“192.168.73.0”, 7005));
nodes.add(new HostAndPort(“192.168.73.0”, 7006));
JedisCluster jedisCluster = new JedisCluster(nodes);
// 第二步:直接使用JedisCluster对象操作redis。在系统中单例存在。
jedisCluster.set(“hello”, “100”);
String result = jedisCluster.get(“hello”);
// 第三步:打印结果
System.out.println(result);
// 第四步:系统关闭前,关闭JedisCluster对象。
jedisCluster.close();
}
2.向业务逻辑中添加缓存
接口封装
常用的操作redis的方法提取出一个接口,分别对应单机版和集群版创建两个实现类。
1.接口定义
public interface JedisClient {
String set(String key, String value);
String get(String key);
Boolean exists(String key);
Long expire(String key, int seconds);
Long ttl(String key);
Long incr(String key);
Long hset(String key, String field, String value);
String hget(String key, String field);
Long hdel(String key, String... field);
}
2.单机版实现类(连接池)
public class JedisClientPool implements JedisClient {
@Autowired
private JedisPool jedisPool;
@Override
public String set(String key, String value) {
Jedis jedis = jedisPool.getResource();
String result = jedis.set(key, value);
jedis.close();
return result;
}
@Override
public String get(String key) {
Jedis jedis = jedisPool.getResource();
String result = jedis.get(key);
jedis.close();
return result;
}
@Override
public Boolean exists(String key) {
Jedis jedis = jedisPool.getResource();
Boolean result = jedis.exists(key);
jedis.close();
return result;
}
@Override
public Long expire(String key, int seconds) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.expire(key, seconds);
jedis.close();
return result;
}
@Override
public Long ttl(String key) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.ttl(key);
jedis.close();
return result;
}
@Override
public Long incr(String key) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.incr(key);
jedis.close();
return result;
}
@Override
public Long hset(String key, String field, String value) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.hset(key, field, value);
jedis.close();
return result;
}
@Override
public String hget(String key, String field) {
Jedis jedis = jedisPool.getResource();
String result = jedis.hget(key, field);
jedis.close();
return result;
}
@Override
public Long hdel(String key, String... field) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.hdel(key, field);
jedis.close();
return result;
}
}
3.集群版实现类
public class JedisClientCluster implements JedisClient {
@Autowired
private JedisCluster jedisCluster;
@Override
public String set(String key, String value) {
return jedisCluster.set(key, value);
}
@Override
public String get(String key) {
return jedisCluster.get(key);
}
@Override
public Boolean exists(String key) {
return jedisCluster.exists(key);
}
@Override
public Long expire(String key, int seconds) {
return jedisCluster.expire(key, seconds);
}
@Override
public Long ttl(String key) {
return jedisCluster.ttl(key);
}
@Override
public Long incr(String key) {
return jedisCluster.incr(key);
}
@Override
public Long hset(String key, String field, String value) {
return jedisCluster.hset(key, field, value);
}
@Override
public String hget(String key, String field) {
return jedisCluster.hget(key, field);
}
@Override
public Long hdel(String key, String... field) {
return jedisCluster.hdel(key, field);
}
}
接下来,就是我们万能的spring对redis的整合配置
applicationContext-redis.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframework.org/schema/p"
xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.2.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.2.xsd
http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.2.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.2.xsd
http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-4.2.xsd">
<context:annotation-config />
<!-- redis单机版
<bean id="jedisPool" class="redis.clients.jedis.JedisPool">
<constructor-arg name="host" value="192.168.25.175"></constructor-arg>
<constructor-arg name="port" value="6379"></constructor-arg>
</bean>
<bean id="jedisClientPool" class="com.jedis.JedisClientPool"></bean>
-->
<!-- redis集群版 -->
<bean id="jedisCluster" class="redis.clients.jedis.JedisCluster">
<constructor-arg>
<set>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.175">
</constructor-arg>
<constructor-arg name="port" value="7001"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.175">
</constructor-arg>
<constructor-arg name="port" value="7002"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.175">
</constructor-arg>
<constructor-arg name="port" value="7003"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.175">
</constructor-arg>
<constructor-arg name="port" value="7004"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.175">
</constructor-arg>
<constructor-arg name="port" value="7005"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.175">
</constructor-arg>
<constructor-arg name="port" value="7006"></constructor-arg>
</bean>
</set>
</constructor-arg>
</bean>
<bean id="jedisClientCluster" class="com.jedis.JedisClientCluster"></bean>
</beans>
使用时,只需用@AutoWired注解二者共同的接口JedisClient,即可实现单机版和集群版的切换。
@Test
public void testJedisClient() throws Exception {
//初始化Spring容器
ApplicationContext applicationContext = new ClassPathXmlApplicationContext("classpath:spring/applicationContext-*.xml");
//从容器中获得JedisClient对象
JedisClient jedisClient = applicationContext.getBean(JedisClient.class);
jedisClient.set("first", "100");
String result = jedisClient.get("first");
System.out.println(result);
}
对Redis的介绍就此完毕,后面将对Solr等进行介绍,有错误之处,还望各位前辈多加斧正。