使用 Redis 管道 --pipe 快速导入数据到redis中

最新推荐文章于 2024-04-18 10:21:07 发布
最新推荐文章于 2024-04-18 10:21:07 发布
阅读量1.1k 收藏 6
点赞数 1
分类专栏： PHP Linux redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39059866/article/details/108264737
版权

今天运营需要将64w 条数据导入redis。使用接口无疑是会超时
只能由技术部进行导入。
参考博客 链接地址

cat command-test.txt | /usr/local/redis/bin/redis-cli --pipe

一、在此之前你的设备需要先安装 unix2dos

  1. centOS 下安装： 简单方便 yum -y install dos2unix
  2. windows 安装：需下载 dos2unix-7.4.1-win64 压缩包，里边含有4个转化工具。我们只用到unix2dos.exe
最低0.47元/天 解锁文章
i_zane
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Redis基础篇-18-Redis的其他用法---Pipeline详解
Alan0517
07-24 541
原子操作是指你的一个业务逻辑必须是不可拆分的. 处理一件事情要么都成功，要么都失败，原子不可拆分)使用pipeline组装的命令个数不能太多，不然数据量过大，增加客户端的等待时间，还可能造成网络阻塞，可以将大量命令的拆分多个小的pipeline命令完成。小结：这是一组统计数据出来的数据，使用Pipeline执行速度比逐条执行要快，特别是客户端与服务端的网络延迟越大，性能体能越明显。大家知道redis提供了mset、mget方法，但没有提供mdel方法，如果想实现，可以借助pipeline实现。
Redis | 管道 —— PipeLine
daobuxinzi的博客
04-24 628
在我们使用 Redis 的时候，通常是使用一条一条的命令来进行操作，比如我们可以执行一个 “set key1 value1” 这样的操作，然后再执行一个 "set key2 value" 这样的操作。Redis 是基于客户端和服务端的模式，当客户端和服务端进行通信的时候，通常会使用 Socket 来进行网络的通信。当我们执行 "set key value" 时，客户端会对服务器发送一个数据包，当我们再次执行 "set key2 value2" 时，客户端又会对服务器发送一个数据包。这样，看起来没有什么太多的
Redis精通系列——Pipeline（管道）
最新发布
2401_84149896的博客
04-18 402
跳槽季整理面试题已经成了我多年的习惯！在这里我和身边一些朋友特意整理了一份快速进阶为Android高级工程师的系统且全面的学习资料。涵盖了Android初级——Android高级架构师进阶必备的一些学习技能。附上：我们之前因为秋招收集的二十套一二线互联网公司Android面试真题（含BAT、小米、华为、美团、滴滴）和我自己整理Android复习笔记（包含Android基础知识点、Android扩展知识点、Android源码解析、设计模式汇总、Gradle知识点、常见算法题汇总。
Redis使用管道Pipe进行批处理一次执行多条DML语句-----Redis
春风若有怜花意，可否许我再少年
01-18 405
Redis使用管道Pipe进行批处理一次执行多条DML语句-----Redis
redis ERR Protocol error: too big inline request 错误
qq_34929111的博客
12-06 569
【代码】redis ERR Protocol error: too big inline request 错误。
redis错误error记录
weixin_30457881的博客
02-26 581
早上登服务器，看到程序的redis的报错， 具体如下： (error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check ...
redis中使用redis-dump导出、导入、还原数据实例
09-10
在Redis中，虽然没有内置的`redis-dump`工具，但我们可以使用第三方工具来实现数据的导出、导入和还原。以下将详细介绍如何使用`redis-dump`工具来完成这些操作。 首先，要安装`redis-dump`，你需要确保系统已经...
redis++使用说明,windows下编译redis-plus-plus
06-13
"Redis++使用说明，windows下编译Redis-Plus-Plus" 在这篇文章中，我们将详细介绍如何在Windows平台下编译Redis++，包括编译hiredis.lib和Win32_Interop.lib静态库文件的过程，然后安装Cmake并编译Redis++，最后...
redis-stack-server 7.2.0 安装包合集
04-03
redis-stack-server-7.2.0-v9.arm64.snap redis-stack-server-7.2.0-v9.bionic.arm64.tar.gz redis-stack-server-7.2.0-v9.bionic.x86_64.tar.gz redis-stack-server-7.2.0-v9.bullseye.x86_64.tar.gz redis-stack-...
redis2-nginx-module-0.15
07-18
redis2-nginx-module-0.15
Redis系列十：Pipeline详解
热门推荐
w1lgy的博客
11-25 9万+
1、pipeline出现的背景： redis客户端执行一条命令分4个过程： 发送命令－〉命令排队－〉命令执行－〉返回结果 这个过程称为Round trip time(简称RTT, 往返时间)，mget mset有效节约了RTT，但大部分命令（如hgetall，并没有mhgetall）不支持批量操作，需要消耗N次RTT ，这个时候需要pipeline来解决这个问题 2、pepeline的性能 ...
Redis精通系列——Pipeline，少儿编程java教程
m0_64384302的博客
12-07 277
Redis是一种基于客户端-服务端模型以及请求/响应的TCP服务。一次Redis客户端发起的请求，经过服务端的响应后，大致会经历如下的步骤： 客户端发起一个（查询/插入）请求，并监听socket返回，通常情况都是阻塞模式等待Redis服务器的响应 服务端处理命令，并且返回处理结果给 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》 【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享 客户端 客户端接收到服务的返回结果
分布式缓存Redis之Pipeline（管道）
ZhangRui的博客
12-11 9万+
写在前面  本学习教程所有示例代码见GitHub：https://github.com/selfconzrr/Redis_Learning  Redis的pipeline(管道)功能在命令行中没有，但redis是支持pipeline的，而且在各个语言版的client中都有相应的实现。 由于网络开销延迟，就算redis server端有很强的处理能力，也会由于收到的client消息少，而造成吞吐量小。
使用redis-cli --pipe快速插入数据
weixin_33860553的博客
11-08 3089
    具体实现步骤如下：（参考http://www.cnblogs.com/ivictor/p/5446503.html） 1. 新建一个文本文件redis_commands.txt，包含redis命令 SET Key0 Value0 SET Key1 Value1 ... SET KeyN ValueN 如果有了原始数据，其实构造这个文件并不难，譬如shell，pyth...
redis pipe处理大数据操作
GUI1259802368的博客
02-24 1901
       假设我们现在有一个需求，需要往redis中添加1000完条数据。注意这1000万数据是没有重复的，因此我们只需要把这1000万数据添加到redis中的一个集合中。 命令行添加方式如下： SADD  [集合名称]  成员1，成员2，... 例如 SADD FRUIT apple banana pear       这样添加的效率低，时间都耗费了网络传输和命令传输的往返时间...
redis pipe大数据量导入
此情可待成追忆
07-06 1146
         由于做性能测试，需要往redis中导出千万级的数据。得知redis-cli工具支持pipeline导入可以达到最佳性能。由于刚接触redis以及对文档的格式不是很了解，走了很多的弯路。          从官方文档(http://redis.io/topics/mass-insert)我们可以得知数据格式。 *3\r\n 命令起始，定义共3个输入参数 ...
Redis - Pipeline
浪人与酒
03-17 2471
Redis - Pipeline Redis 的 pipeline（管道）功能在命令行中没有，但 redis 是支持 pipeline 的，而且在各个语言的 client 都有相应的实现。由于网络开销延迟，就算 redis server 端有很强的处理能力，也会由于收到的 client 消息少，而造成的吞吐量小。当 client 使用 pipeliing 发送命令时 redis server 必须将部分请求放到队列中（使用内存），执行完毕后一次性发送结果；如果发送的命令很多的话，建议对返回结果加标签，当然这
redis pipe
仅做个人笔记
08-19 603
redis nil err 寻找1922902342900000103-23，但是redis里没有，返回的cacheList里则会: val="" baseCmd: args: 有东西 err: redis nill val为数组时 多个pipe 多个时，返回的是交替的，长度为len(单pipe时)*N，N为几个pipe pipe := s.Redi...
redis的多命令执行方法之一-pipeling
liwenbo_csu的博客
12-18 5816
管道传输(pipelining)：用于一次性处理多条redis命令      redis的执行流程为客户端发送命令到服务端，客服端阻塞等待服务端程序返回，如果中间由于网络通信问题导致速度比较慢，另外由于客户端和服务端的数据传输需要一定的时间。这个      时间叫做RTT，Round Trip Time 。如果有很多条命令要一次性传输，相对来说就会比较慢，redis提供了pipelining命
如何使用redis-cli导出redis数据并导入另一个redis实例中
06-09
要使用 `redis-cli` 导出 Redis 数据并将其导入到另一个 Redis 实例中，可以使用以下步骤： 1. 在原始 Redis 实例中使用 `BGSAVE` 命令将数据保存到 RDB 文件中。例如： ``` BGSAVE ``` 这将在 Redis 安装...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值