12、Scan扫描所有key

学习目标：

1、了解Scan的使用

2、掌握Scan和JRedis的Scan的使用

学习过程：

     在生产环境中经常需要查看某些key的值，已获取其对应的value，也经常需要查看又那些大key，影响了性能，在前面我们学习了keys 命令，可以通过模糊查询获得对应对应的所有的key，如果生产环境的key很多，那么keys * 会很慢，因为redis是单线程的，这个keys 命令会导致redis卡顿，所以一般来说keys 命令都是禁用的，从redis 2.8后，推荐使用scan命令。scan命令是增量的循环，类似mysql的分页查询，每次调用只会返回一小部分的元素。所以不会有keys命令的问题。scan命令返回的是一个游标，从0开始遍历，到0结束遍历。

命令格式：

SCAN cursor [MATCH pattern] [COUNT count]
命令解释：scan 游标 MATCH <返回和给定模式相匹配的元素> count 每次迭代所返回的元素数量
通过scan中的MATCH <pattern> 参数，可以让命令只返回和给定模式相匹配的元素，实现模糊查询的效果

一、redis的命令行界面

先添加100个

@Test  
public void testSpringRedis2() {  
	for(int i=0;i<100;i++) {
		template.opsForValue().set("name"+i, "liubao"+1);
	}
}

redis测试，下面的测试比较长，可以直接看到最后一个了。坐标返回为0就标识全部编译结束了

127.0.0.1:6379> scan 0 match name* count 10
1) "132"
2)  1) "name23"
    2) "name71"
    3) "name60"
    4) "name50"
    5) "name77"
    6) "name56"
    7) "name53"
    8) "name31"
    9) "name22"
   10) "name18"
127.0.0.1:6379> scan 132 match name* count 10
1) "66"
2)  1) "name64"
    2) "name67"
    3) "name0"
    4) "name59"
    5) "name10"
    6) "name6"
    7) "name29"
    8) "name80"
    9) "name91"
   10) "name40"
127.0.0.1:6379> scan 66 match name* count 10
1) "234"
2)  1) "name34"
    2) "name36"
    3) "name49"
    4) "name51"
    5) "name63"
    6) "name30"
    7) "name76"
    8) "name9"
    9) "name44"
   10) "name85"
   11) "name89"
127.0.0.1:6379> scan 234 match name* count 10
1) "150"
2)  1) "name13"
    2) "name38"
    3) "name11"
    4) "name74"
    5) "name55"
    6) "name81"
    7) "name37"
    8) "name86"
    9) "name48"
   10) "name41"
127.0.0.1:6379> scan 150 match name* count 10
1) "254"
2)  1) "name45"
    2) "name96"
    3) "name35"
    4) "name58"
    5) "name93"
    6) "name79"
    7) "name84"
    8) "name62"
    9) "name4"
   10) "name1"
127.0.0.1:6379> scan 254 match name* count 10
1) "77"
2) 1) "name32"
   2) "name54"
   3) "name75"
   4) "name27"
   5) "name24"
   6) "name39"
   7) "name26"
   8) "name72"
   9) "name3"
127.0.0.1:6379> scan 77 match name* count 10
1) "131"
2)  1) "name98"
    2) "name69"
    3) "name2"
    4) "name70"
    5) "name25"
    6) "name78"
    7) "name88"
    8) "name7"
    9) "name15"
   10) "name66"
127.0.0.1:6379> scan 131 match name* count 10
1) "155"
2)  1) "name92"
    2) "name47"
    3) "name83"
    4) "name5"
    5) "name33"
    6) "name8"
    7) "name87"
    8) "name20"
    9) "name43"
   10) "name65"
127.0.0.1:6379> scan 155 match name* count 10
1) "23"
2)  1) "name97"
    2) "name61"
    3) "name16"
    4) "name94"
    5) "name19"
    6) "name"
    7) "name52"
    8) "name90"
    9) "name99"
   10) "name73"
   11) "name82"
   12) "name95"
127.0.0.1:6379> scan 23 match name* count 10
1) "95"
2) 1) "name14"
   2) "name57"
   3) "name21"
   4) "name12"
   5) "name46"
   6) "name68"
   7) "name17"
   8) "name28"
127.0.0.1:6379> scan 95 match name* count 10
1) "0"   #返回0就是遍历结束了。
2) 1) "name42"

你会发现每一次返回的并不都是10条数据，所以和mysql的分页查询还是又区别的。一直遍历到返回的 cursor 值为 0 时结束。

hash也同样支持scan，命令也类似hasc，示例如下：

127.0.0.1:6379> hset students name1 liu1 name2 liu2 name3 liu3
(integer) 3
127.0.0.1:6379> hscan students 0 match name* count 10
1) "0"
2) 1) "name1"
   2) "liu1"
   3) "name2"
   4) "liu2"
   5) "name3"
   6) "liu3"
 

二、遍历顺序

大家可以看到scan的遍历并不是一次性取得所有的数据，那么如果在遍历的过程中，发生了扩容，如果保证遍历的数据没有重复和遗漏呢。scan不是从第一维数组的第 0 位一直遍历到末尾，而是采用了高位进位加法来遍历。这样就可以解决到字典的扩容和缩容时避免槽位的遍历重复和遗漏。高位进位法从左边加，进位往右边移动，高位进位法可以使得扩容后并没有改变原来的排序，同普通加法正好相反，所以最终它们都会遍历所有的槽位并且没有重复，有兴趣的同学可以自己去了解一下，

三、定位大 key --bigkeys

前面说了为了避免对生产环境的 Redis服务 造成卡顿，我们经常需要查找那些大的key，不过 Redis 官方已经在 redis-cli 指令中提供了这样的扫描功能，我们可以直接拿来即用。

redis-cli -a 123456 –-bigkeys

这个指令会大幅抬升 Redis 的 ops 导致线上报警，还可以增加一个休眠参数。

redis-cli  –-bigkeys -i 0.1

上面这个指令每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长。

四、java封装的scan

示例代码如下：

@Test  
public void  testScan() {  
	
	final String query="name*";

	template.execute(new RedisCallback<Object>() {

		@Override
		public Object doInRedis(RedisConnection redisConnection) throws DataAccessException {
			ScanOptions options = ScanOptions.scanOptions().match(query).count(Integer.MAX_VALUE).build();
	        Cursor<byte[]> c = redisConnection.scan(options);
	        while (c.hasNext()) {
	            System.out.println(new String((byte[]) c.next()));
	        }
			return null;
		}
	});
}

ursor一定不能关闭，在之前的版本中，这里Cursor需要手动关闭，但是从1.8.0开始，不能手动关闭！否则会报异常。