【redis】记录一次rediscluster 调用lua 脚本， 用于 list 批量获取

记录一次rediscluster 调用lua 脚本 用于 list 批量获取

需求：用redis list 当作消息队列（原来的流程固定不能变更），需要增加消费速度
改进方案的思想（不考虑业务逻辑变更优化，主要是原来的逻辑改不动，有些🤢）：
1、批量获取 2、多线程消费
改进中遇到的问题：
1.批量获取问题 2、多线程问题 3、分布式问题
解决方案：
1、批量获取问题
1）redis 6.2.2 版本前list 弹出队列只有单个出队列（lpop）变更版本不靠谱
2）搜索查询查看帖子 后了解到 通过lrange 结合ltrim 可以实现批量出队列
2、多线程问题
多线程的话就是加锁，给方法加锁
3、分布式问题
单点部署多线程加锁能保证单点上多线程对redis的lrange 和ltrim 是原子操作，但是分布式 就会出现问题，比如 服务器A 中的线程操作redis，redis 执行到了lrange 还没有执行到 ltrim，服务器B中的线程通过redis的执行了lrange，（redis内部是单线程执行），就会出现重复数据，然后再执行ltrim 会出现错误删除数据。
解决此情况： 就是让redis端保证 lrange 和ltrim 是原子操作，首先 想到redis 事务，可惜redis集群上不支持事务（需要改造，我觉得麻烦）
其次，lua 脚本 （通过redisson 了解到lua可以保证redis 原子操作）。开始尝试lua。
以下是代码 可以拿来直接用,

-------------------------------------------------
	maven  pom.xml 添加依赖jar
  <dependency>
	<groupId>redis.clients</groupId>
	<artifactId>jedis</artifactId>
	<version>2.9.1</version>
  </dependency>
  -----------------------------------------------
   JedisCluster jedisCluster= null;
   Set<HostAndPort> nodes = new HashSet<>();
   nodes.add(new HostAndPort("redis.host2","redis.port2"));
   nodes.add(new HostAndPort("redis.host3", "redis.port3"));
   if (jedisCluster== null) {
      jedisCluster= new JedisCluster(nodes);
   }
//  lua 脚本内容     
    public static String SCRIPT_LUA = 
             " local rlist = redis.call('lrange', KEYS[1],0,ARGV[1])\n" +
            "  redis.call('ltrim', KEYS[1],#rlist,-1)\n" +
            " return  rlist \n";
	//用于存储redis 对 lua脚本缓存
    static HashMap<String, String> cmap = new HashMap<>();
    public static synchronized List<String> batchList(String key, int size) {
        try {
            List<String> keys = new ArrayList<>();
            keys.add(key);
            List<String> params = new ArrayList<>();
            params.add(size + "");
            String UNSHA_LUA = cmap.get(key);
            if (StringUtils.isBlank(UNSHA_LUA)) {
            	//redis 加载lua脚本，返回唯一标识串
                UNSHA_LUA = jedisCluster.scriptLoad(SCRIPT_LUA, key);
                cmap.put(key, UNSHA_LUA);
            }
            return (List<String>) jedisCluster.evalsha(UNSHA_LUA, keys, params);//执行lua脚本
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }

完结。。。。。
附 ： 2个应用，1个应用 5个list，每个list 20线程获取，一次100，220W数据 测试可行

附2： redistemplate 操作lua（可用），主要摘自https://blog.csdn.net/u012899746/article/details/84314527

      List<String> keys = new ArrayList<String>();
      keys.add("test_key1");
      List<String> args = new ArrayList<String>();
      args.add("hello,key1");
      String LUA = "redis.call('SET', KEYS[1], ARGV[1]); return ARGV[1]";
        //spring自带的执行脚本方法中，集群模式直接抛出不支持执行脚本异常，此处拿到原redis的connection执行脚本
      String result = (String)redisTemplate.execute(new RedisCallback<String>() {
            public String doInRedis(RedisConnection connection) throws DataAccessException {
                Object nativeConnection = connection.getNativeConnection();
                // 集群模式和单点模式虽然执行脚本的方法一样，但是没有共同的接口，所以只能分开执行
                // 集群
                if (nativeConnection instanceof JedisCluster) {
                    return (String) ((JedisCluster) nativeConnection).eval(LUA, keys,args);
                };
                // 单点
                else if (nativeConnection instanceof Jedis) {
                    return (String) ((Jedis) nativeConnection).eval(LUA, keys, args);
                }
                return null;
            }
        });
 //或者    注意key 中的{}  多key 时集群操作 会出现如下 异常  
 // No way to dispatch this command to Redis Cluster because keys have different slots.
            String key = "key_{" + id + "}";
            String key2 = "key2_" + id2 + "_{" + id+ "}";
            String SCRIPT_LUA = "" +
                    " if redis.call('get',KEYS[2])  then  " +
                    "    return 'hiskey' " +
                    " else " +
                    "      if redis.call('exists',KEYS[1]) == 1 then  " +
                    "          local setObject =redis.call('spop', KEYS[1])  " +
                    "          redis.call('set', KEYS[2],setObject)  " +
                    "          return  setObject " +
                    "       else  return 'noelement' " +
                    "    end " +
                    "end";
            String result = (String) redisTemplate.execute(new RedisCallback<String>() {
                @Override
                public String doInRedis(RedisConnection connection) throws DataAccessException {
                    Object nativeConnection = connection.getNativeConnection();
                    if (nativeConnection instanceof JedisCluster) {
                        JedisCluster jedisCluster = (JedisCluster) nativeConnection;
                        //以下是不同点，evalsha 是redis端缓存脚本，2代表 key的个数
                        String UNSHA_LUA = jedisCluster.scriptLoad(SCRIPT_LUA, key);
                        return (String) ((JedisCluster) nativeConnection).evalsha(UNSHA_LUA, 2, key, key2);
                    } else {
                        return "";
                    }
                }
            });
//或者 如下，但也要保留 多key时中的{}，多key的{} 内容要一致 
  			List<String> keys = new ArrayList<>();
            keys.add(key);
            keys.add(key2);
            List<String> params = new ArrayList<>();
    		String result = (String) redisTemplate.execute(new RedisCallback<String>() {
                @Override
                public String doInRedis(RedisConnection connection) throws DataAccessException {
                    Object nativeConnection = connection.getNativeConnection();
                    if (nativeConnection instanceof JedisCluster) {
                        JedisCluster jedisCluster = (JedisCluster) nativeConnection;
                        return (String) ((JedisCluster) nativeConnection).eval(SCRIPT_LUA, keys, params);
                    } else {
                        return "";
                    }
                }
            });

附3， lua 获取所有参数集合，"local args=ARGV " ：
获取集合长度，"local length=#list "

  String LUA = " redis.call('DEL', KEYS[1])\n" +
            "local args=ARGV \n" +
            "local setNum=0 \n" +
            " for key,value in ipairs(args)\n" +
            " do\n" +
            "  local a=redis.call('sadd', KEYS[1],value)\n" +
            "  setNum=setNum+a \n" +
            " end " +
            " return  setNum \n";