RedisTemplat 使用scan获取所有key,单点模式和集群模式。

单点:

	public Set<String> scan(String matchKey) {
		Set<String> keys = (Set<String>) redisTemplate.execute((RedisCallback<Set<String>>) connection -> {
			Set<String> keysTmp = new HashSet<>();
			Cursor<byte[]> cursor = connection.scan(new ScanOptions.ScanOptionsBuilder().match(matchKey).count(1000).build());
			while (cursor.hasNext()) {
				keysTmp.add(new String(cursor.next()));
			}
			return keysTmp;
		});

		return keys;
	}

测试:

    @Test
    public void scan() {
        Set<String> stringSet = redisService.scan("*es*");
        System.out.println("*******************************************");
        System.out.println(stringSet);
        System.out.println("*******************************************");
    }

原文很详细:Spring RedisTemplate实现scan操作,毕竟keys不安全

集群:

public List<String> getRedisKeys(String matchKey) {

		List<String> list = new ArrayList<>();
		RedisClusterConnection redisClusterConnection = redisTemplate.getConnectionFactory().getClusterConnection();
		//这里是获取edispool的另外一种方式与上边的pipline可以对比下,两种方式都可以实现
		Map<String, JedisPool> clusterNodes = ((JedisCluster) redisClusterConnection.getNativeConnection()).getClusterNodes();
		for (Map.Entry<String, JedisPool> entry : clusterNodes.entrySet()) {
			//获取单个的jedis对象
			Jedis jedis = entry.getValue().getResource();
			// 判断非从节点(因为若主从复制,从节点会跟随主节点的变化而变化),此处要使用主节点从主节点获取数据
			if (!jedis.info("replication").contains("role:slave")) {
				List<String> keys = getScan(jedis, matchKey);
				if (keys.size() > 0) {
					Map<Integer, List<String>> map = new HashMap<>(8);
					//接下来的循环不是多余的,需要注意
					for (String key : keys) {
						// cluster模式执行多key操作的时候,这些key必须在同一个slot上,不然会报:JedisDataException:
						int slot = JedisClusterCRC16.getSlot(key);
						// 按slot将key分组,相同slot的key一起提交
						if (map.containsKey(slot)) {
							map.get(slot).add(key);
						} else {
							List<String> list1 = new ArrayList();
							list1.add(key);
							map.put(slot, list1);
						}
					}
					for (Map.Entry<Integer, List<String>> integerListEntry : map.entrySet()) {
						list.addAll(integerListEntry.getValue());
					}
				}
			}
		}
		return list;
	}

	public List<String> getScan(Jedis redisService, String key) {

		List<String> list = new ArrayList<>();
		//扫描的参数对象创建与封装
		ScanParams params = new ScanParams();
		params.match(key);
		//扫描返回一百行,这里可以根据业务需求进行修改
		params.count(100);
		String cursor = "0";
		ScanResult scanResult = redisService.scan(cursor, params);

		//scan.getStringCursor() 存在 且不是 0 的时候,一直移动游标获取
		while (null != scanResult.getStringCursor()) {
			//封装扫描的结果
			list.addAll(scanResult.getResult());
			if (! "0".equals( scanResult.getStringCursor())) {
				scanResult = redisService.scan(cursor, params);
			} else {
				break;
			}
		}
		return list;
	}

测试:

    @Test
    public void getRedisKeys() {

        List<String> list = redisService.getRedisKeys("*es*");
        System.out.println("*******************************************");
        System.out.println(list);
        System.out.println("*******************************************");
    }

原文很详细:关于在Redis集群模式下不支持Scan和pipline的解释以及解决方案

  • 2
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
在 Java 中通过 Redis SCAN 命令可以获取所有的 key,SCAN 命令可以配合游标(cursor)进行分批次获取,以避免一次性获取过多的 key 导致性能问题。以下是使用 Jedis 和 Lettuce 两个 Redis 客户端库中的方法实现的示例代码: 使用 Jedis 客户端库: ```java // 创建 Jedis 实例 Jedis jedis = new Jedis("localhost", 6379); // 初始化游标 String cursor = ScanParams.SCAN_POINTER_START; // 创建 ScanParams 实例 ScanParams params = new ScanParams().count(1000); // 循环扫描所有 key while (true) { // 执行 SCAN 命令 ScanResult<String> result = jedis.scan(cursor, params); // 获取当前批次的游标和 key 列表 cursor = result.getStringCursor(); List<String> keys = result.getResult(); // 对 key 列表进行处理 for (String key : keys) { System.out.println(key); } // 如果游标为 0,则说明已经扫描完成 if (cursor.equals(ScanParams.SCAN_POINTER_START)) { break; } } // 关闭 Jedis 连接 jedis.close(); ``` 使用 Lettuce 客户端库: ```java // 创建 RedisClient 实例 RedisClient client = RedisClient.create("redis://localhost"); // 创建 RedisConnection 实例 RedisConnection<String, String> connection = client.connect(); // 初始化游标 String cursor = ScanCursor.INITIAL.getValue(); // 创建 ScanArgs 实例 ScanArgs args = ScanArgs.Builder.limit(1000); // 循环扫描所有 key while (true) { // 执行 SCAN 命令 RedisAdvancedClusterAsyncCommands<String, String> asyncCommands = connection.async(); RedisFuture<ScanResult<String>> future = asyncCommands.scan(cursor, args); ScanResult<String> result = future.get(); // 获取当前批次的游标和 key 列表 cursor = result.getCursor(); List<String> keys = result.getResult(); // 对 key 列表进行处理 for (String key : keys) { System.out.println(key); } // 如果游标为 0,则说明已经扫描完成 if (cursor.equals(ScanCursor.INITIAL.getValue())) { break; } } // 关闭 RedisConnection 连接 connection.close(); // 关闭 RedisClient 连接 client.shutdown(); ``` 需要注意的是,SCAN 命令会消耗一定的性能,因此需要根据实际情况来调整游标的大小和扫描的频率。同时,SCAN 命令是一个近似算法,可能会漏扫或者重复扫描一些 key,因此在实际使用中需要进行进一步的判断和处理。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值