初识NoSQL
认识Redis
Redis,远程词典服务器,是一个基于内存的键值值NoSQL数据库.
特征:
- 键值对(key-value)型,value支持多种不同的数据结构,功能丰富.
- 单线程,每一命令具备原子性
- 低延迟,速度快(基于内存,IO多路复用,良好的编码).
- 支持数据持久化
- 支持主从集群,分片集群
- 支持多语言客户端
Redis是一个key-value的数据库,key一般是String类型,不过Value的类型多种多样:
Redis通用命令:
通用指令是部分数据类型,都可以使用指令,常见的有:
- KEYS:查看符合模板的所有key,不建议在生产环境设备上使用
- DEL:删除一个指定的key
- EXISTS:判断key是否存在
- EXPIRE:给一个key设置有效期,有效期到期时该key会被自动删除
- TTL:查看一个key的剩余有效期
String类型
String类型,也就是字符串类型,是Redis中最简单的存储类型.其Value是字符串,不过根据字符串的格式不同,又可以为3类.
- String :普通字符串
- Int:整数类型,可以做自增,自减操作
- float:浮点类型,可以做自增,自减操作
底层全都是字节数组形式存储,只不过编码方式不同.字符串类型的最大空间不超过512m.
常见命令:
- SET:添加或者修改已经存在的一个String类型的键值对
- GET:根据key获取String类型的Value
- MSET:批量添加多个String类型的Value
- INCR:让一个整型的key自增1
- INCRBY:让一个整型的key自增并指定步长,例如:incrby num 2 让num值自增2
- INCRBYFLOAT: 让一个浮点类型的数字自增并指定步长.
- SETNX:添加一个String类型的键值对,前提是这个key不存在,否则不执行
- SETEX:添加一个String类型的键值对,并且制定有效期.
key的结构
Redis的key允许有多个单词形成层级结构,多个单词之间用":"隔开,格式如下:
项目名:业务名:类型:id (推荐使用)
格式并非固定,也可以根据自己的需求来删除或者添加词条.
如项目名称为xiaoli,有user和product两种不同类型的数据,我可以这样定义
user相关的key:xiaoli:user:1
product相关的key:xiaoli:product:1
如果Value是一个java对象,例如一个user对象,则可以将对象序列化为字符串后存储
set heima:product:1 '{"id":2,"name":"xiaomi","price":4999}
Hash类型
Hash类型,也叫散列,其Value是一个无序字典,类似于java中的HashMap结构
String结构是将对象序列化为JSON字符串后存储,当需要修改对象某个字段时很不方便.
而Hash结构可以将对象中的每一个独立字段独立存储,可以针对单个字段做CRUD
Hash类型的常见命令
- HSET key field value :添加或者修改hash类型key的field的值
- HGET key field: 获取一个hash类型key的field的值
- HMSET:批量添加多个hash类型key的field的值
- HMGET:批量获取多个hash类型key的field的值
- HGETALL:获取一个hash类型的key中的所有的field和value, 相当于获取HashMap中的键值对对象
- HKEYS:获取一个hash类型的key中的所有的field
- HVALS:获取一个hash类型的key中的所有的value
- HINCRBY:让一个hash类型key的字段值自增并指定步长
- HSETNX:添加一个hash类型的key的field值,前提是这个field不存在,否则不执行
List类型
Redis中的List类型和JAVA中LinkedList类似,可以看做是一个双向链表结构.既可以支持正向检索和也可以支持反向检索.
特征也与LinkedList类似
- 有序
- 元素可以重复
- 插入和删除快
- 查询速度一般
常用来存储一个有序数据,例如评论列表,点赞列表前后顺序.
List类型的常见命令:
- LPUSH key element.....:向列表左边插入一个或者多个元素
- LPOP key :移除并返回列表左边的第一个元素,没有则返回nil.
- RPUSH key element.....:向列表右边插入一个或者多个元素
- RPOP key :移除并返回列表右边的第一个元素.
- LRANGE key star end :返回一段角标范围内的所有元素
BLPOP和BRPOP:与LPOP和RPOP类似.只不过在没有元素时等待指定时间(类似于阻塞队列的效果, B代表的就是阻塞),而不是直接返回nil.
使用List结构模拟栈: 入口和出口在同一边
使用List结构模拟队列:入口和出口不在同一边
使用List结构模拟阻塞队列: 入口和出口在不同边, 出队时采用BLPOP和BRPOP
Set类型:
Redis的Set结构与Java中的HashSet类似,可以看做是一个value为null的HashMap。因为也是一个hash表,因此具备与HashSet类似的特征:
- 无序
- 元素不可重复
- 查找快
- 支持交集、并集、差集等功能
Set类型的常见命令:
- SADD key member ...: 向set中添加一个或多个元素
- SREM key member ...: 移除set中的指定元素
- SCARD key:返回set中元素的个数
- SISMEMBER key member:判断一个元素是否存在于set中
- SMEMBERS:获取set中的所有元素
- SINTER key1 key2 ...: 求key1与key2的交集
- SDIFF key1 key2 ..: 求key1与key2的差集
- SUNION key1 key2 ..: 求key1和key2的并集
SortedSet类型
Redis的SortedSet是一个可排序的set集合,与Java中的TreeSet有些类似,但底层数据结构却差别很大。SortedSet中
的每一个元素都带有一个score属性,可以基于score属性对元素排序,底层的实现是一个跳表(SkipList)加hash表。
SortedSet具备下列特性:
- 可排序
- 元素不重复
- 查询速度快
因为SortedSet的可排序特性,经常被用来实现排行榜这样的功能。
SortedSet类型的常见命令
- ZADD key score member:添加一个或多个元素到sorted set,如果已经存在则更新其score值
- ZREM key member:删除sorted set中的一个指定元素
- ZSCORE key member:获取sorted set中的指定元素的score值
- ZRANK key member:获取sorted set中的指定元素的排名
- ZCARD key:获取sorted set中的元素个数
- ZCOUNT key min max:统计score值在给定范围内的所有元素的个数
- ZINCRBY key increment member: 让sorted set中的指定元素自增,步长为指定的increment值
- ZRANGE key min max:按照score排序后,获取指定排名范围内的元素
- ZRANGEBYSCORE key min max:按照score排序后,获取指定score范围内的元素
- ZDIFF、ZINTER、ZUNION:求差集、交集、并集
注意:所有的排名默认都是升序,如果要降序则在命令的Z后面添加REV即可 . 如ZVEVRANK .
Redis的Java客户端
jedis使用的基本步骤
引入依赖
<dependency> <!-- jedis--> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.7.0</version> </dependency>
创建Jedis对象.建立连接
@BeforeEach
void setUP(){
//建立连接
jedis = new Jedis("127.0.0.1", 6379);
//2 设置密码
//jedis.auth("");
jedis.select(0);
}
使用Jedis,方法名与Redis命令一致
@Test
void testString(){
//存入数据
String result = jedis.set("name", "虎子哥");
System.out.println("result = " + result);
//获取数据
String name = jedis.get("name");
System.out.println("name = " + name);
}
@Test
void testHsh(){
jedis.hset("user:1","name","Jack");
jedis.hset("user:1","age","21");
//获取
Map<String, String> map = jedis.hgetAll("user:1");
System.out.println("map = " + map);
}
释放资源
@AfterEach
void tearDown(){
if(jedis!=null){
jedis.close();
}
}
Jedis连接池
Jedis本身是线程不安全的,并且频繁地创建和销毁连接会有性能损耗,因此推荐使用Jedis连接池代替Jedis的直连方式.
package com.neusoft.utils;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
public class JedisConnectionFactory {
private static final JedisPool jedisPool;
static {
//配置连接池
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
//最大连接
jedisPoolConfig.setMaxTotal(8);
//最大空闲连接
jedisPoolConfig.setMaxIdle(8);
//最小空闲连接
jedisPoolConfig.setMinIdle(0);
//设置最长等待时间 .ms
jedisPoolConfig.setMaxWaitMillis(200);
jedisPool = new JedisPool(jedisPoolConfig, "127.0.0.1", 6379,1000,null);
}
//获取jedis对象
public static Jedis getJedis() {
return jedisPool.getResource();
}
}
SpringDataRedis
SpringDataRedis是Spring中数据操作的模块,包含对各种数据库的集成,其中对Redis的集成模块就叫做SpringDataRedis
- ●提供了对不同Redis客户端的整合(Lettuce和Jedis)
- ● 提供了RedisTemplate统一API来操作Redis
- ● 支持Redis的发布订阅模型
- ● 支持Redis哨兵和Redis集群
- ● 支持基于Lettuce的响应式编程
- ● 支持基于JDK、JSON、字符串、Spring对象的数据序列化及反序列化
- ● 支持基于Redis的JDKCollection实现
SpringDataRedis中提供了RedisTemplate工具类.其中封装了各种对Redis的操作.并且将不同数据类型操作API封装到了不同的类型中.
1,引入Spring-boot-starter-data-redis依赖
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-pool2</artifactId> <version>2.10.0</version> </dependency>
2,在application.yml或者Properties配置Redis信息
spring.redis.host=127.0.0.1
spring.redis.port=6379
spring.redis.lettuce.pool.max-active=8
spring.redis.lettuce.pool.min-idle=8
spring.redis.jedis.pool.min-idle=0
spring.redis.lettuce.pool.max-idle=8
spring.redis.lettuce.pool.max-wait=100ms
3,注入RedisTemplate
package com.neusoft.springdataredisdemo;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.redis.core.RedisTemplate;
@SpringBootTest
class SpringDataRedisDemoApplicationTests {
@Autowired
private RedisTemplate redisTemplate;
@Test
void testString() {
//协议条String的数据
redisTemplate.opsForValue().set("name","张虎");
//获取String数据
Object name=redisTemplate.opsForValue().get("name");
System.out.println(name);
}
}
SpringDataRedis的序列化方式
SpringDataRedis可以接收任意Object作为值写入Redis,只不过写入前会把Object序列化转为字节形式,默认是采用JDK序列化,得到的结果是这样的.
缺点:
- 可读性差
- 内存占用较大
自定义RedisTemplate的序列化方式,:
@Bean
public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory)
throws UnknownHostException {
// @Template
RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();
// 设置连接工厂
redisTemplate.setConnectionFactory(redisConnectionFactory);
// 设置序列化工具
GenericJackson2JsonRedisSerializer jsonRedisSerializer =
new GenericJackson2JsonRedisSerializer();
// key和 hashKey采用 string序列化
redisTemplate.setKeySerializer(RedisSerializer.string());
redisTemplate.setHashKeySerializer (RedisSerializer.string());
// value和 hashValue采用 JSON序列化
redisTemplate.setValueSerializer(jsonRedisSerializer);
redisTemplate.setHashValueSerializer(jsonRedisSerializer);
return redisTemplate;
再次运行
为了在反序列化时知道对象的类型,JSON序列化器会将类的class类型写入json结果中,存入Redis,会带来额外的内存开销.
为了节省内存空间,我们并不会使用JSON序列化器来处理value,而是统一使用String序列化器,要求只能存储String类型的key和value。当需要存储Java对象时,手动完成对象的序列化和反序列化。
Spring默认提供一个StringRedisTemplate类,他的key和value的序列化方式默认就是String方式.省去自定义RedisTemplate的过程
@Autowired
private StringRedisTemplate stringRedisTemplate;
// JSON工具
private static final ObjectMapper mapper = new ObjectMapper ();
@Test
void testStringTemplate() throws JsonProcessingException {
// 准备对象
User user = new User(“虎哥",18);
// 手动序列化
String json = mapper.writeValueAsString(user);
// 写入一条数据到redis
stringRedisTemplate.opsForValue().set("user:200", json);
// 读取数据
String val = stringRedisTemplate.opsForValue().get("user:200");
// 反序列化
User user1 = mapper.readValue(val, User.class);
System.out.println("user1 = " + user1);
}
Hash结构实例
@Test
void testHash(){
stringRedisTemplate.opsForHash().put("user:11","name","虎哥");
stringRedisTemplate.opsForHash().put("user:11","age","21");
Map<Object,Object> entries=stringRedisTemplate.opsForHash().entries("user:11);
System.out.println("entries="+entries);
}
总的来说:RedisTemplate的两种序列化实现方案
方案一:
1,自定义RedisTemplate
2,修改RedisTemplate的序列化器为GenericJackson2JsonRedisSerializer
方案二:
1,使用StringRedisTemplate
2,写入Redis时,手动把对象序列化为JSON
3,读取Redis时,手动把读取到的JSON反序列化为对象