redis通过pipe 批量插入数据

最新推荐文章于 2024-05-13 21:02:42 发布
VIP文章 最新推荐文章于 2024-05-13 21:02:42 发布
阅读量440 收藏 3
点赞数
文章标签： redis linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xqqtechnology/article/details/107491644
版权

【背景】
线上的redis缓存中大量数据和数据库对应不上，需要统一同步一次，数据量在20w+左右
了解到redis有一个上传牛逼的方式pipe管道方式
官方说明：（https://redis.io/topics/mass-insert）
在这里插入图片描述
在这里插入图片描述
下面是实际操作：

首先发现线上环境
redis-cli命令不支持，最后发现是当前命令没有配置到环境中
把redis的redis-cli 相关内容复制到bin目录下
sudo cp src/redis-cli /usr/local/bin/
可以使用redis-cli命令了
但是执行命令的时候，需要授权
在这里插入图片描述
所以需要加上密码

最低0.47元/天 解锁文章
xJTechnology
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
redis-cli 通过管道 --pipe 快速导入数据到redis中
qq_33673359的博客
11-14 2881
最近有个需求，需要把五千万条数据批量写入redis中，方法倒是有很多种！效率最高的就是通过redis-cl管道的方式写入 一：先看看命令 cat redis.txt | redis-cli -h 127.0.0.1 -a password - p 6379 --pipe 结构很简单 redis.txt 是你的文件名称 后面是你的客户端 二：redis.txt 的 文件格式 2.1 re...
redis集群批量插入
11-23
java连接redis集群批量String类型插入
使用Redis Pipeline管道技术，批量导入Redis 500万条记录（借助Mysql生成csv文件）
baiyunxiaoxiao_chen的博客
04-25 1099
本文是基于Python2.7.5版本写的shell脚本，目的是在CentOS7.3上执行Redis Pipeline管道操作命令，以批量导入Redis 500万条记录，下面是详细操作步骤。 步骤一： 在Mysql5.7上创建一个Stored Procedure，在表demo_data中导入Mysql模拟的500万条记录： 登陆Mysql: Mysql -hlocalhost -uroot -p 登陆成功后，切换到要导入数据的数据库实例。 然后，创建表demo_data： CREATE T
【Redis】redis安装与客户端redis-cli的使用(批量操作)
石臻臻的杂货铺(szzdzhp001)
11-09 2350
在Centos中安装Redis 安装步骤 先创建一个文件夹用于存放redis mkdir /data/redis & cd /data/redis 1.使用以下命令下载，提取和编译Redis： wget https://download.redis.io/releases/redis-6.0.9.tar.gz tar xzf redis-6.0.9.tar.gz cd redis-6.0.9 make make test 最新稳定版本请看 https://redis.io/downloa
用脚本批量执行redis命令
多看多听多总结
11-19 6278
如果将命令写到txt文件中，形式为每行一个命令：set key value  然后用cat example.txt | redis-cli --pipe 会提示All data transferred. Waiting for the last reply... ERR syntax error Last reply received from server. errors: 1, re
redis | redis批量操作pipeline管道
西京刀客
09-26 1196
pipeline，将多个命令一次执行，一次发送出去，节省网络时间。 pipeline技术最显著的优势是提高了 redis 服务的性能。
Springboot Redis使用pipeline进行批量插入数据优化
进步让人兴奋
08-24 3492
一、前言 之前做一个业务，需要把缓存数据存到redis中，一开始使用了for循环，检测后发现数据量一大，就会很慢，1w条数据就需要快2分钟。 原始的代码如下： LOG.info("开始写入新增数据缓存"); for (int i = 0; i < addCompList.size(); i++) { AddDataCacheVo addDataCacheVo = new AddDataCacheVo(); CompanyImportVo companyImportVo = addCom
Redis - 管道批量写入数据
一七令
03-16 4831
redis 批量写入大量数据
【08-Redis大量数据插入】
https://github.com/Wang-Jun-Chao
12-03 1253
有些时候，Redis实例需要装载大量用户在短时间内产生的数据，数以百万计的keys需要被快速的创建。 我们称之为大量数据插入(mass insertion),本文档的目标就是提供如下信息：Redis如何尽可能快的处理数据。
redis pipe 批量导入数据
kunpengku
03-29 4268
redis pipe 批量导入数据 速度非常快， 文本需要支持redis的协议， 使用Python生成文件 代码如下 delimiter = "\r\n" data = "*3" + delimiter + "$3" + delimiter + "set" + delimiter + "$" + str(len(row[0])) + delimiter + row[0] + delim
如何高效地向Redis插入大量的数据（推荐）
09-09
本篇文章主要介绍了如何高效地向Redis插入大量的数据，现在分享给大家，感兴趣的小伙伴们可以参考一下。
在Redis集群中使用pipeline批量插入的实现方法
12-16
由于项目中需要使用批量插入功能, 所以在网上查找到了Redis 批量插入可以使用pipeline来高效的插入, 示例代码如下: String key = "key"; Jedis jedis = new Jedis("xx.xx.xx.xx"); Pipeline p = jedis.pipelined();...
在Redis集群中使用pipeline批量插入
weixin_30594001的博客
09-21 521
由于项目中需要使用批量插入功能, 所以在网上查找到了Redis 批量插入可以使用pipeline来高效的插入, 示例代码如下: String key = "key"; Jedis jedis = new Jedis("xx.xx.xx.xx"); Pipeline p = jedis.pipelined(); List<String> myData = .... //...
Redis大量数据插入
jike11231的博客
06-14 4153
有些时候，Redis实例需要装载大量用户在短时间内产生的数据，数以百万计的keys需要被快速的创建。我们称之为大量数据插入(mass insertion)，本文档的目标就是提供如下信息：Redis如何尽可能快的处理数据。 本文参考网上方案特意整理总结如下： 方式一：使用Luke协议，通过redis-cli –pipe发送数据到服务器 使用正常模式的Redis 客户端执行大量数据插入不是一个好主意：因为一个个的插入会有大量的时间浪费在每一个命令往返时间上。使用管道（pipelining）是一种可行的办法，但是
SpringBoot利用Pipeline批量插入redis数据
倔强100%的博客
08-27 1663
Pipeline的使用
使用 Redis 管道 --pipe 快速导入数据到redis中
Zzane
08-27 1135
今天运营需要将64w 条数据导入redis。使用接口无疑是会超时 只能由技术部进行导入。 参考博客 链接地址 cat command-test.txt | /usr/local/redis/bin/redis-cli --pipe 一、在此之前你的设备需要先安装 unix2dos centOS 下安装： 简单方便 yum -y install dos2unix windows 安装：需下载 dos2unix-7.4.1-win64 压缩包，里边含有4个转化工具。我们只用到unix2dos.exe 二
使用redis-cli --pipe快速插入数据
weixin_33860553的博客
11-08 3085
    具体实现步骤如下：（参考http://www.cnblogs.com/ivictor/p/5446503.html） 1. 新建一个文本文件redis_commands.txt，包含redis命令 SET Key0 Value0 SET Key1 Value1 ... SET KeyN ValueN 如果有了原始数据，其实构造这个文件并不难，譬如shell，pyth...
Redis - Pipeline
浪人与酒
03-17 2462
Redis - Pipeline Redis 的 pipeline（管道）功能在命令行中没有，但 redis 是支持 pipeline 的，而且在各个语言的 client 都有相应的实现。由于网络开销延迟，就算 redis server 端有很强的处理能力，也会由于收到的 client 消息少，而造成的吞吐量小。当 client 使用 pipeliing 发送命令时 redis server 必须将部分请求放到队列中（使用内存），执行完毕后一次性发送结果；如果发送的命令很多的话，建议对返回结果加标签，当然这
redis试题按知识点归类(三)
最新发布
u012728971的博客
05-13 143
十一、发布/订阅 1.Redis 的发布/订阅模型是如何工作的？ 2.如何使用 Redis 作为消息队列？ 3.发布/订阅在实际应用中有哪些用例？ 十二、缓存策略 1.如何确定 Redis 的缓存策略？ 2.Redis 的缓存替换策略有哪些？ 3.如何使用 Redis 作为缓存层？ 十三、客户端与生态系统 1.Redis 支持哪些编程语言的客户端？ 2.Redisson 和 Jedis 有什么不同？ 3.如何使用 Redis 模块？ 十四、运维与管理 1.如何监控和管理 Redis
redis hash批量插入数据
11-30
可以使用Redis的pipeline机制来实现Redis hash批量插入数据，具体步骤如下： 1.创建一个pipeline对象 ```python pipe = redis_three.pipeline() ``` 2.使用pipeline的hmset方法批量插入数据 ```python data = {'...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值