关闭

Java使用Pipeline对Redis批量读写(hmset&hgetall)

1697人阅读 评论(0) 收藏 举报
分类:
redis的管道(Pipelining)操作是一种异步的访问模式,一次发送多个指令,不同步等待其返回结果。这样可以取得非常好的执行效率。这就是管道,调用方法如下:
@Test
public void test3Pipelined() {
    Jedis jedis = new Jedis("localhost");
    Pipeline pipeline = jedis.pipelined();
    long start = System.currentTimeMillis();
    for (int i = 0; i < 100000; i++) {
        pipeline.set("p" + i, "p" + i);
    }
    List<Object> results = pipeline.syncAndReturnAll();
    long end = System.currentTimeMillis();
    System.out.println("Pipelined SET: " + ((end - start)/1000.0) + " seconds");
    jedis.disconnect();
}



摘要
Java使用Pipeline对Redis批量读写(hmset&hgetall)

一般情况下,Redis Client端发出一个请求后,通常会阻塞并等待Redis服务端处理,Redis服务端处理完后请求命令后会将结果通过响应报文返回给Client。
这有点类似于HBase的Scan,通常是Client端获取每一条记录都是一次RPC调用服务端。
在Redis中,有没有类似HBase Scanner Caching的东西呢,一次请求,返回多条记录呢?
有,这就是Pipline。官方介绍 http://redis.io/topics/pipelining

通过pipeline方式当有大批量的操作时候,我们可以节省很多原来浪费在网络延迟的时间,需要注意到是用pipeline方式打包命令发送,redis必须在处理完所有命令前先缓存起所有命令的处理结果。打包的命令越多,缓存消耗内存也越多。所以并不是打包的命令越多越好。

使用Pipeline在对Redis批量读写的时候,性能上有非常大的提升。

使用Java测试了一下:


  
  
  1. package com.lxw1234.redis;
  2.  
  3. import java.util.HashMap;
  4. import java.util.Map;
  5. import java.util.Set;
  6.  
  7. import redis.clients.jedis.Jedis;
  8. import redis.clients.jedis.Pipeline;
  9. import redis.clients.jedis.Response;
  10.  
  11.  
  12. public class Test {
  13. public static void main(String[] args) throws Exception {
  14. Jedis redis = new Jedis("127.0.0.1", 6379, 400000);
  15. Map<String,String> data = new HashMap<String,String>();
  16. redis.select(8);
  17. redis.flushDB();
  18. //hmset
  19. long start = System.currentTimeMillis();
  20. //直接hmset
  21. for (int i=0;i<10000;i++) {
  22. data.clear();
  23. data.put("k_" + i, "v_" + i);
  24. redis.hmset("key_" + i, data);
  25. }
  26. long end = System.currentTimeMillis();
  27. System.out.println("dbsize:[" + redis.dbSize() + "] .. ");
  28. System.out.println("hmset without pipeline used [" + (end - start) / 1000 + "] seconds ..");
  29. redis.select(8);
  30. redis.flushDB();
  31. //使用pipeline hmset
  32. Pipeline p = redis.pipelined();
  33. start = System.currentTimeMillis();
  34. for (int i=0;i<10000;i++) {
  35. data.clear();
  36. data.put("k_" + i, "v_" + i);
  37. p.hmset("key_" + i, data);
  38. }
  39. p.sync();
  40. end = System.currentTimeMillis();
  41. System.out.println("dbsize:[" + redis.dbSize() + "] .. ");
  42. System.out.println("hmset with pipeline used [" + (end - start) / 1000 + "] seconds ..");
  43. //hmget
  44. Set keys = redis.keys("*");
  45. //直接使用Jedis hgetall
  46. start = System.currentTimeMillis();
  47. Map<String,Map<String,String>> result = new HashMap<String,Map<String,String>>();
  48. for(String key : keys) {
  49. result.put(key, redis.hgetAll(key));
  50. }
  51. end = System.currentTimeMillis();
  52. System.out.println("result size:[" + result.size() + "] ..");
  53. System.out.println("hgetAll without pipeline used [" + (end - start) / 1000 + "] seconds ..");
  54. //使用pipeline hgetall
  55. Map<String,Response<Map<String,String>>> responses = new HashMap<String,Response<Map<String,String>>>(keys.size());
  56. result.clear();
  57. start = System.currentTimeMillis();
  58. for(String key : keys) {
  59. responses.put(key, p.hgetAll(key));
  60. }
  61. p.sync();
  62. for(String k : responses.keySet()) {
  63. result.put(k, responses.get(k).get());
  64. }
  65. end = System.currentTimeMillis();
  66. System.out.println("result size:[" + result.size() + "] ..");
  67. System.out.println("hgetAll with pipeline used [" + (end - start) / 1000 + "] seconds ..");
  68. redis.disconnect();
  69. }
  70. }
  71.  

测试结果如下:


  
  
  1. dbsize:[10000] ..
  2. hmset without pipeline used [243] seconds ..
  3. dbsize:[10000] ..
  4. hmset with pipeline used [0] seconds ..
  5. result size:[10000] ..
  6. hgetAll without pipeline used [243] seconds ..
  7. result size:[10000] ..
  8. hgetAll with pipeline used [0] seconds ..

使用pipeline来批量读写10000条记录,就是小菜一碟,秒完。

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式…)介绍

关键字:Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式…)介绍  Tags: redis, jedis, 事务, 管道, 分布式, 连接池  redis是一个著名的key-value存储系统,而作为其官方推荐的java版客户端jedis也非常强大和稳定,...
  • Truong
  • Truong
  • 2015-07-01 15:43
  • 35429

Jedis源码解析(Pipeline的实现)

1 Pipeline介绍Redis客户端与Redis之间使用TCP协议进行连接,一个客户端可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常会阻塞并等待redis服务处理,redis处理完后请求命令后会将结果通过响应报文返回给client,因此当执行多条命令的时候都需要...
  • ouyang111222
  • ouyang111222
  • 2016-03-21 10:20
  • 4355

redis批量上传数据(pipeline

1.编写TestRedis测试类 package com.test.redis; import java.util.HashSet; import java.util.Set; import org.junit.Test; import redis.clients.jedis.HostAndP...
  • qq_34021712
  • qq_34021712
  • 2017-05-15 20:09
  • 200

Redis: pipeline加速Redis请求,实现批处理

Redis是基于TCP连接进行通信 Redis是使用客户端 - 服务器模型的TCP服务器,称为请求/响应协议。 这意味着通常一个请求是通过以下步骤完成的: 客户端向服务器发送查询,并通常以阻塞的方式从套接字读取服务器响应。服务器处理命令并将响应发送回客户端。 ...
  • fly910905
  • fly910905
  • 2018-01-04 14:10
  • 59

java调用redis的八种方式

Redis是一个著名的key-value存储系统,而作为其官方推荐的Java版客户端jedis也非常强大和稳定,支持事务、管道及有jedis自身实现的分布式。 在这里对jedis关于事务、管道和分布式的调用方式做一个简单的介绍和对比: 一、普通同步方式 最简单和基础的调用方式, ...
  • SH_EN
  • SH_EN
  • 2017-02-06 15:55
  • 3298

redis-cluster官方集群模式下使用pipeline批量操作

         redis从3.0版本后引入了令人兴奋的cluster集群模式,相信很多人都尝试过了,在高兴之余却发现redis官方的cluster对于java客户端的jedis支持却不是很好,至少目前的版本cluster...
  • kevin_pso
  • kevin_pso
  • 2016-12-30 17:16
  • 3971

Redis中PipeLine使用(二)---批量get与批量set

批量查询的相关问题总结再做测试之前首先向redis中批量插入一组数据1-->1 2-->2 3-->3 4-->4 5-->5 6-->6现在批量get数据for (Entry<String,String> entry :map.entrySet())...
  • ouyang111222
  • ouyang111222
  • 2015-11-04 17:28
  • 13042

Java对readis的基本操作

Jar: jedis-2.7.3.jar commons-pool2-2.4.2.jar package com.redis;import java.util.ArrayList; import java.util.Iterator; import java.util.List; import ja...
  • u013410747
  • u013410747
  • 2016-03-02 18:05
  • 1014

解决RedisTemplate 使用hgetall命令时序列化问题

  • 2017-12-27 17:38
  • 489B
  • 下载

redis的hGetAll函数的性能问题

在没关注这个函数之前,一直用的Memcache的数据存储方式,但是自从更换了redis之后,对于一个hash的数据存与取 对于Memcache方便甚多,但是问题来了,一个hash的列表如果量不大的情况,用hGetAll函数几乎看不出问题,一旦这个列表超过50或者更多时,此时用hGetAll函数便能很...
  • zhongguomao
  • zhongguomao
  • 2016-08-02 16:55
  • 1102
    个人资料
    • 访问:9118089次
    • 积分:76247
    • 等级:
    • 排名:第24名
    • 原创:262篇
    • 转载:2813篇
    • 译文:3篇
    • 评论:788条
    文章分类
    最新评论