java redis batch_详解redis大幅性能提升之使用管道（PipeLine）和批量（Batch）操作...

最新推荐文章于 2023-11-29 22:36:25 发布

白鹤同学XL

最新推荐文章于 2023-11-29 22:36:25 发布

阅读量580

点赞数

文章标签： java redis batch

本文链接：https://blog.csdn.net/weixin_36472625/article/details/114810459

版权

前段时间在做用户画像的时候，遇到了这样的一个问题，记录某一个商品的用户购买群，刚好这种需求就可以用到Redis中的Set，key作为productID，value就是具体的customerid集合，后续的话，我就可以通过productid来查看该customerid是否买了此商品，如果购买了，就可以有相关的关联推荐，当然这只是系统中的一个小业务条件，这时候我就可以用到SADD操作方法，代码如下：

static void Main(string[] args)

{

ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("192.168.23.151:6379");

var db = redis.GetDatabase();

var productID = string.Format("productID_{0}", 1);

for (int i = 0; i < 10; i++)

{

var customerID = i;

db.SetAdd(productID, customerID);

}

一：问题

但是上面的这段代码很明显存在一个大问题，Redis本身就是基于tcp的一个Request/Response protocol模式，不信的话，可以用wireshark监视一下：

从图中可以看到，有很多次的192.168.23.1 => 192.168.23.151 之间的数据往返，从传输内容中大概也可以看到有一个叫做productid_xxx的前缀，

那如果有百万次局域网这样的round trip，那这个延迟性可想而知，肯定达不到我们预想的高性能。

二：解决方案【Batch】

刚好基于我们现有的业务，我可以定时的将批量的productid和customerid进行分组整合，然后用batch的形式插入到某一个具体的product的set中去，接下来我可以把上面的代码改成类似下面这样：

static void Main(string[] args)

{

ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("...:");

var db = redis.GetDatabase();

var productID = string.Format("productID_{}", );

var list = new List();

for (int i = ; i < ; i++)

{

list.Add(i);

}

db.SetAdd(productID, list.Select(i => (RedisValue)i).ToArray());

}

从截图中传输的request,response可以看到，这次我们一次性提交过去，极大的较少了在网络传输方面带来的尴尬性。。

三：再次提出问题

product维度的画像我们可以解决了，但是我们还有一个customerid的维度，也就是说我需要维护一个customerid为key的set集合，其中value的值为该customerid的各种平均值，比如说“总交易次数”，“总交易金额”。。。等等这样的聚合信息，然后推送过来的是批量的customerid，也就是说你需要定时维护一小嘬set集合，在这种情况下某一个set的批量操作就搞不定了。。。原始代码如下：

static void Main(string[] args)

{

ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("...:");

var db = redis.GetDatabase();

//批量过来的数据： customeridlist， ordertotalprice，具体业务逻辑省略

var orderTotalPrice = ;

var customerIDList = new List();

for (int i = ; i < ; i++)

{

customerIDList.Add(i);

}

//foreach更新每个redis 的set集合