/* jedis操作各种redis中的数据结构 1.字符串类型:String set get 2.哈希类型hash:map格式 hset hget 3.列表类型list:linkedlist格式,支持重复元素 lpush/ rpush lpop/rpop 4.set 不允许重复 sadd 5.zset 有序集合sortedset 不允许重复而且元素有序 zadd */ }
## 今日内容
1. redis
1. 概念
2. 下载安装
3. 命令操作
1. 数据结构
4. 持久化操作
5. 使用Java客户端操作redis
# Redis
1. 概念: redis是一款高性能的NOSQL系列的非关系型数据库
1.1.什么是NOSQL:没有表的概念,是键值对的形式 例如name:zhangsan 数据直接没有关联关系数据存储在内存中 ;而mysql数据是有关联的存储在硬盘上。
NoSQL(NoSQL = Not Only SQL),意即“不仅仅是SQL”,是一项全新的数据库理念,泛指非关系型的数据库。
随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。
1.1.1. NOSQL和关系型数据库比较
优点:
1)成本:nosql数据库简单易部署,基本都是开源软件,不需要像使用oracle那样花费大量成本购买使用,相比关系型数据库价格便宜。
2)查询速度:nosql数据库将数据存储于缓存之中,关系型数据库将数据存储在硬盘中,自然查询速度远不及nosql数据库。
3)存储数据的格式:nosql的存储格式是key,value形式、文档形式、图片形式等等,所以可以存储基础类型以及对象或者是集合等各种格式,而数据库则只支持基础类型。
4)扩展性:关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。
缺点:
1)维护的工具和资料有限,因为nosql是属于新的技术,不能和关系型数据库10几年的技术同日而语。
2)不提供对sql的支持,如果不支持sql这样的工业标准,将产生一定用户的学习和使用成本。
3)不提供关系型数据库对事务的处理。
1.1.2. 非关系型数据库的优势:
1)性能NOSQL是基于键值对的,可以想象成表中的主键和值的对应关系,而且不需要经过SQL层的解析,所以性能非常高。
2)可扩展性同样也是因为基于键值对,数据之间没有耦合性,所以非常容易水平扩展。
1.1.3. 关系型数据库的优势:
1)复杂查询可以用SQL语句方便的在一个表以及多个表之间做非常复杂的数据查询。
2)事务支持使得对于安全性能很高的数据访问要求得以实现。对于这两类数据库,对方的优势就是自己的弱势,反之亦然。
1.1.4. 总结
关系型数据库与NoSQL数据库并非对立而是互补的关系,即通常情况下使用关系型数据库,在适合使用NoSQL的时候使用NoSQL数据库,
让NoSQL数据库对关系型数据库的不足进行弥补。
一般会将数据存储在关系型数据库中,在nosql数据库中备份存储关系型数据库的数据
1.2.主流的NOSQL产品
• 键值(Key-Value)存储数据库
相关产品: Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB
典型应用: 内容缓存,主要用于处理大量数据的高访问负载。
数据模型: 一系列键值对
优势: 快速查询
劣势: 存储的数据缺少结构化
• 列存储数据库
相关产品:Cassandra, HBase, Riak
典型应用:分布式的文件系统
数据模型:以列簇式存储,将同一列数据存在一起
优势:查找速度快,可扩展性强,更容易进行分布式扩展
劣势:功能相对局限
• 文档型数据库
相关产品:CouchDB、MongoDB
典型应用:Web应用(与Key-Value类似,Value是结构化的)
数据模型: 一系列键值对
优势:数据结构要求不严格
劣势: 查询性能不高,而且缺乏统一的查询语法
• 图形(Graph)数据库
相关数据库:Neo4J、InfoGrid、Infinite Graph
典型应用:社交网络
数据模型:图结构
优势:利用图结构相关算法。
劣势:需要对整个图做计算才能得出结果,不容易做分布式的集群方案。
1.3 什么是Redis
Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库,官方提供测试数据,50个并发执行100000个请求,读的速度是110000次/s,写的速度是81000次/s ,且Redis通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型如下:
1) 字符串类型 string
2) 哈希类型 hash
3) 列表类型 list
4) 集合类型 set
5) 有序集合类型 sortedset
1.3.1 redis的应用场景
• 缓存(数据查询、短连接、新闻内容、商品内容等等)
• 聊天室的在线好友列表
• 任务队列。(秒杀、抢购、12306等等)
• 应用排行榜
• 网站访问统计
• 数据过期处理(可以精确到毫秒
• 分布式集群架构中的session分离
2. 下载安装
1. 官网:https://redis.io
2. 中文网:http://www.redis.net.cn/
3. 解压直接可以使用:
* redis.windows.conf:配置文件
* redis-cli.exe:redis的客户端
* redis-server.exe:redis服务器端
3. 命令操作
1. redis的数据结构:
* redis存储的是:key,value格式的数据,其中key键都是字符串,value有5种不同的数据结构
* value的数据结构: 注意结合下面的图
1) 字符串类型 string
2) 哈希类型 hash : 相当于map格式 map中又可以存键值对
3) 列表类型 list :相当于 linkedlist格式。支持重复元素
4) 集合类型 set : 相当于hashset 不允许重复元素
5) 有序集合类型 sortedset:不允许重复元素,且元素有顺序
2. 字符串类型 string
1. 存储: set key value
127.0.0.1:6379> set username zhangsan
OK
2. 获取: get key
127.0.0.1:6379> get username
"zhangsan"
3. 删除: del key
127.0.0.1:6379> del age
(integer) 1
3. 哈希类型 hash :相当于map格式 map中又可以存键值对注意下面例子key是myhash sername lisi是map中的键值对
1. 存储: hset key field value
127.0.0.1:6379> hset myhash username lisi
(integer) 1
127.0.0.1:6379> hset myhash password 123
(integer) 1
2. 获取:
* hget key field: 获取指定的field对应的值
127.0.0.1:6379> hget myhash username
"lisi"
* hgetall key:获取所有的field和value
127.0.0.1:6379> hgetall myhash
1) "username"
2) "lisi"
3) "password"
4) "123"
3. 删除: hdel key field
127.0.0.1:6379> hdel myhash username
(integer) 1
4. 列表类型 list:相当于 linkedlist格式。支持重复元素 注意支持重复元素链表是一条链可以添加一个元素到列表的头部(左边)或者尾部(右边)
1. 添加:
1. lpush key value: 将元素加入列表左表
2. rpush key value:将元素加入列表右边
myList是键
127.0.0.1:6379> lpush myList a
(integer) 1
127.0.0.1:6379> lpush myList b
(integer) 2
127.0.0.1:6379> rpush myList c
(integer) 3
2. 获取:
* lrange key start end :范围获取
127.0.0.1:6379> lrange myList 0 -1 (这里是0到-1获取全部)
1) "b"
2) "a"
3) "c" 注意这个次序 因为先ipush a 再 ipush b 再rpush c
3. 删除:
* lpop key: 删除列表最左边的元素,并将元素返回
* rpop key: 删除列表最右边的元素,并将元素返回
5. 集合类型 set : 不允许重复元素 相当于hashset 不允许重复元素 而且存入取出的顺序是不一样的
1. 存储:sadd key value
127.0.0.1:6379> sadd myset a
(integer) 1
127.0.0.1:6379> sadd myset a
(integer) 0 重复元素弹出0
2. 获取:smembers key:获取set集合中所有元素
127.0.0.1:6379> smembers myset
1) "a"
3. 删除:srem key value:删除set集合中的某个元素
127.0.0.1:6379> srem myset a
(integer) 1
6. 有序集合类型 sortedset:不允许重复元素,且元素有顺序.每个元素都会关联一个double类型的分数(顺序跟这个score挂钩的)。redis正是通过分数来为集合中的成员进行从小到大的排序。 zset格式1. 存储:zadd key score value
127.0.0.1:6379> zadd mysort 60 zhangsan 60代表一个顺序
(integer) 1
127.0.0.1:6379> zadd mysort 50 lisi
(integer) 1
127.0.0.1:6379> zadd mysort 80 wangwu
(integer) 1
2. 获取:zrange key start end [withscores]
127.0.0.1:6379> zrange mysort 0 -1 获取所有
1) "lisi"
2) "zhangsan"
3) "wangwu"127.0.0.1:6379> zrange mysort 0 -1 withscores 注意有withscores就回把分数也拿出来
1) "zhangsan"
2) "60"
3) "wangwu"
4) "80"
5) "lisi"
6) "500"
3. 删除:zrem key value
127.0.0.1:6379> zrem mysort lisi
(integer) 1
7. 通用命令
1. keys * : 查询所有的键
2. type key : 获取键对应的value的类型
3. del key:删除指定的key value
4. 持久化
1. redis是一个内存数据库,当redis服务器重启,获取电脑重启,数据会丢失,我们可以将redis内存中的数据持久化保存到硬盘的文件中。
2. redis持久化机制:
1. RDB:默认方式,不需要进行配置,默认就使用这种机制推荐该方法对性能影响小
* 在一定的间隔时间中,检测key的变化情况,然后持久化数据
1. 编辑redis.windwos.conf配置文件 --- 在文件目录中
# after 900 sec (15 min) if at least 1 key changed
save 900 1
# after 300 sec (5 min) if at least 10 keys changed
save 300 10
# after 60 sec(1 min) if at least 10000 keys changed
save 60 10000 60s后一万个key被改变就持久化储存一次
2. 重新启动redis服务器,并指定配置文件名称在文件夹地址栏直接输入cmd就能用命令行打开地址
D:\JavaWeb2018\day23_redis\资料\redis\windows-64\redis-2.8.9>redis-server.exe redis.windows.conf
2. AOF:日志记录的方式,可以记录每一条命令的操作。可以每一次命令操作后,持久化数据 但是不保证绝对安全可能会丢失数据
1. 编辑redis.windwos.conf文件
appendonly no(关闭aof) --> appendonly yes (开启aof)
420- # appendfsync always : 每一次操作都进行持久化
421- appendfsync everysec : 每隔一秒进行一次持久化 系统默认
422- # appendfsync no : 不进行持久化2. 重新启动redis服务器,并指定配置文件名称
在文件夹地址栏直接输入cmd就能用命令行打开地址
D:\JavaWeb2018\day23_redis\资料\redis\windows-64\redis-2.8.9>redis-server.exe redis.windows.conf
5. Java客户端 Jedis
* Jedis: 一款java操作redis数据库的工具. 类似于jdbc
* jedis使用步骤:
1. 下载jedis的jar包
2. 使用
//1. 获取连接
Jedis jedis = new Jedis("localhost",6379);
//2. 操作
jedis.set("username","zhangsan");
//3. 关闭连接
jedis.close();
* Jedis操作各种redis中的数据结构 五种:
1) 字符串类型 string
set
//jedis操作redis五种键类型 redis的key都是String类型的 @Test //jedis操作String public void test02(){ //1、获取连接 Jedis jedis = new Jedis(); //如果空参这里是默认值localhost 6379 //2.操作 jedis.set("username","zhangsan"); String username = jedis.get("username"); System.out.println(username); //可以使用setex()方法存储可以指定过期时间的key value jedis.setex("activecode",20,"hehe"); //key:activecode value:hehe 存入redis并在时间:20s 后自动删除该键值对 //3.关闭连接 jedis.close(); }
使用setex()方法存储可以指定过期时间的key value: 例如注册时需要点击邮箱24小时之内就是用了这里的setex();方法
2) 哈希类型 hash :map格式 注意这里的key和map中的键值对都是字符串类型的数据
hset
hget
hgetAll
@Test // hash public void test03(){ //1、获取连接 Jedis jedis = new Jedis(); //如果空参这里是默认值localhost 6379 //2.操作 :存储hash jedis.hset("user","name","lisi"); jedis.hset("user","age","23"); jedis.hset("user","name","aa"); String age = jedis.hget("user", "age"); System.out.println(age); //23 //获取hash中的所有数据 Map<String, String> map = jedis.hgetAll("user"); Set<String> keys = map.keySet(); for (String key : keys) { System.out.println(key+":"+map.get(key)); /*输出: name:aa age:23 注意这里的name被覆盖了*/ } //3.关闭连接 jedis.close(); }
3) 列表类型 list : linkedlist格式。支持重复元素
lpush / rpush
lpop / rpop
lrange start end : 范围获取
@Test //list linkedlist list的一个键一次可以存多个值 public void test04(){ //1、获取连接 Jedis jedis = new Jedis(); //如果空参这里是默认值localhost 6379 //2.操作 jedis.lpush("mylist","a","b","c"); jedis.rpush("mylist","a","b","c"); //获取出来是一个linkedlist List<String> mylist = jedis.lrange("mylist", 0, 5); //注意这里从start索引0开始 也可以end索引填写-1就是该键的全部值都获取 System.out.println(mylist);//[c, b, a, a, b, c] //lpop rpop String element = jedis.lpop("mylist"); System.out.println(element); // c //3.关闭连接 jedis.close(); }
4) 集合类型 set : 不允许重复元素
sadd
smembers:获取所有元素//1. 获取连接
Jedis jedis = new Jedis();//如果使用空参构造,默认值 "localhost",6379端口
//2. 操作
// set 存储
jedis.sadd("myset","java","php","c++");
// set 获取
Set<String> myset = jedis.smembers("myset");
System.out.println(myset);
//3. 关闭连接
jedis.close();
5) 有序集合类型 sortedset:不允许重复元素,且元素有顺序
zadd
zrange//1. 获取连接
Jedis jedis = new Jedis();//如果使用空参构造,默认值 "localhost",6379端口
//2. 操作
// sortedset 存储
jedis.zadd("mysortedset",3,"亚瑟");
jedis.zadd("mysortedset",30,"后裔");
jedis.zadd("mysortedset",55,"孙悟空");
// sortedset 获取
Set<String> mysortedset = jedis.zrange("mysortedset", 0, -1);
System.out.println(mysortedset);
//3. 关闭连接
jedis.close();@Test public void test05(){ //set格式 //1、获取连接 Jedis jedis = new Jedis(); //如果空参这里是默认值localhost 6379 //2.操作 jedis.sadd("myset","java","php","c++"); //一个set中可以存多个值 Set<String> myset = jedis.smembers("myset"); System.out.println(myset);//[c++, java, php] //3.关闭连接 jedis.close(); } @Test public void test06(){ //sortedset格式 set不能存储重复 //1、获取连接 Jedis jedis = new Jedis(); //如果空参这里是默认值localhost 6379 //2.操作 jedis.zadd("zset",60,"zhangsan");//一个set中可以存多个值 jedis.zadd("zset",100,"aa"); jedis.zadd("zset",500,"bb"); Set<String> zset = jedis.zrange("zset", 0, 2); System.out.println(zset); //[zhangsan, aa, bb] 打印是按照score的大小打印的 //3.关闭连接 jedis.close(); }
* jedis连接池: JedisPool
@Test public void test07(){ //1.创建Jedis连接池对象 JedisPool jedisPool = new JedisPool(); //2.获取连接 Jedis jedis = jedisPool.getResource(); //3.使用 jedis.set("haha","hehe"); //4.关闭 其实是归还到连接到连接池中不是真正的关闭jredis jedis.close(); } @Test //jedis连接池这里可以指定参数来配置对象 这里就是为了配置config的参数 public void test08(){ //0.创建一个配置对象 JedisPoolConfig config= new JedisPoolConfig(); config.setMaxTotal(50); //例如这里设置最大允许连接数50 config.setMaxIdle(10);//最大允许空闲连接10 //1.创建Jedis连接池对象 JedisPool jedisPool = new JedisPool(config,"localhost",6379); //2.获取连接 Jedis jedis = jedisPool.getResource(); //3.使用 jedis.set("haha","heihei"); //4.关闭 其实是归还到连接到连接池中不是真正的关闭jredis jedis.close(); /*config的配置 #最大活动对象数 redis.pool.maxTotal=1000 #最大能够保持idel状态的对象数 redis.pool.maxIdle=100 #最小能够保持idel状态的对象数 redis.pool.minIdle=50 #当池内没有返回对象时,最大等待时间 redis.pool.maxWaitMillis=10000 #当调用borrow Object方法时,是否进行有效性检查 redis.pool.testOnBorrow=true #当调用return Object方法时,是否进行有效性检查 redis.pool.testOnReturn=true #“空闲链接”检测线程,检测的周期,毫秒数。如果为负值,表示不运行“检测线程”。默认为-1. redis.pool.timeBetweenEvictionRunsMillis=30000 #向调用者输出“链接”对象时,是否检测它的空闲超时; redis.pool.testWhileIdle=true # 对于“空闲链接”检测线程而言,每次检测的链接资源的个数。默认为3. redis.pool.numTestsPerEvictionRun=50 #redis服务器的IP redis.ip=xxxxxx #redis服务器的Port redis1.port=6379 */ }
* jedis连接池工具类:对JedisPool抽取一个工具类,因为上面配置config的方法这样指定不利于修改 我们可以抽取到一个配置文件中 降低耦合度更利于后期更改
JEDISUTILS/** * JedisPool工具类 * 加载配置文件,配置连接池的参数 * 提供获取连接的方法 */ public class JedisPoolUtils { private static JedisPool jedisPool; static{ //静态代码块 Properties pro = new Properties(); InputStream is = JedisPoolUtils.class.getClassLoader().getResourceAsStream("jedis.properties"); try { pro.load(is); } catch (IOException e) { e.printStackTrace(); } //第二种方法:======================================== Properties pro = new Properties(); try { pro.load(new FileReader("C:\\IdeaProject\\itcast\\day34-redis-jedis\\src\\jedis.properties")); } catch (IOException e) { e.printStackTrace(); } ====================================================== //获取数据设置到Jedis中 JedisPoolConfig config = new JedisPoolConfig(); config.setMaxTotal(Integer.parseInt(pro.getProperty("maxTotal"))); //这里用Integer.parseInt是因为获取道德配置文件中数据是String的"10"这里需要int类型的数据 config.setMaxIdle(Integer.parseInt(pro.getProperty("maxIdle"))); //初始化jedisPool jedisPool = new JedisPool(config,pro.getProperty("host"), Integer.parseInt(pro.getProperty("port"))); //端口号port是个数字所以要Integer.parse(); } //获取连接的方法 public static Jedis getJedis(){//注意Jedis是连接池对象 是一个对象 return jedisPool.getResource(); } }
配置文件 jedis.properties
host=127.0.0.1 port=6379 maxTotal=50 maxIdle=10
测试类:
@Test //测试利用jedisUtils工具类使用jedisPool连接池技术 public void test09(){ Jedis jedis = JedisPoolUtils.getJedis(); jedis.set("aa","bb"); System.out.println(jedis.get("aa")); //注意所有的key都是String形式的 jedis.close(); }
## 案例:
案例需求:
1. 提供index.html页面,页面中有一个省份 下拉列表
2. 当 页面加载完成后 发送ajax请求,加载所有省份
* 注意:使用redis缓存一些不经常发生变化的数据。
* 数据库的数据一旦发生改变,则需要更新缓存。
* 数据库的表执行 增删改的相关操作,需要将redis缓存数据情况,再次存入
* 在service对应的增删改方法中,将redis数据删除。
index.html
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script src="./js/jquery-3.3.1.min.js"></script> <!--因为index.html和js是同一级文件夹--> <script> $(function () { //发送ajax请求加载省份数据 $.get( "provinceServlet", {}, function (date) { //1.获取select var province = $("#province"); //2.遍历json数组 $(data).each(function () { //3.创建<option> var option = "<option name='"+this.id+"'>"+this.name+"</option>"; //拼字符串 双引号++ //4.调用select的append追加option province.append(option); }); }); }); </script> </head> <body> <select id="province"> <option>--请选择省份--</option> </select> </body>
serviceimpl
public class ProvinceServiceImpl implements ProvinceService { private ProvinceDao dao = new ProvinceDaoImpl(); @Override public List<Province> findAll() { ProvinceDao dao = new ProvinceDaoImpl(); List<Province> provinces = dao.findALL(); return provinces; } @Override public String findAllJson() throws JsonProcessingException { //1.先从redis中查询数据 //1.1获取redis的客户端连接 Jedis jedis = JedisPoolUtils.getJedis(); String province_json = jedis.get("province"); //redis中有数据直接返回 //2.判断一下province_json数据是否为null-----无数据先查询进入redis if (province_json==null||province_json.length()==0){ //redis缓存中没有数据 //2.1从数据库查询 List<Province> ps = dao.findALL(); //2.2将list序列化为json ObjectMapper map = new ObjectMapper(); province_json = map.writeValueAsString(ps); //把list转换为json格式 [{},{},{}] 字符串的数组格式 //2.3将jison存如redis中 因为是province_json是字符串所以用set方法 jedis.set("province_json",province_json); //3归还连接 jedis.close(); }else{ System.out.println("redis有数据直接查询缓存"); } return province_json; } }
daoimpl
public class ProvinceDaoImpl implements ProvinceDao { private JdbcTemplate template = new JdbcTemplate(JDBCUtils.getDataSource()); @Override public List<Province> findALL() { String sql = "select*from province"; List<Province> provinces = template.query(sql, new BeanPropertyRowMapper<Province>(Province.class)); return provinces; } }
servlet@WebServlet("/provinceServlet") class ProvinceServlet extends HttpServlet { protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { /* //调用service查询 ----这里是查询sql数据库 ProvinceService provinceService = new ProvinceServiceImpl(); List<Province> provinces = provinceService.findAll(); System.out.println(provinces); //序列化list为json ObjectMapper mapper = new ObjectMapper(); //核心map对象 String json = mapper.writeValueAsString(provinces);*/ //1.调用ervice查询 -----这里是查询redis数据库 ProvinceService service = new ProvinceServiceImpl(); String json = service.findAllJson(); System.out.println(json); //响应结果 response.setContentType("application/json;charset=utf-8"); response.getWriter().write(json); //response.getWriter().write()和 response.getWriter().print()是响应给客户端的东西,如果不用ajax接收将数据放在合适的位置,就会在浏览器上生成一个新的页面来显示内容。 } protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { this.doPost(request, response); } }