使用reids-cli --pipe导入redis protocol文件数据

最新推荐文章于 2021-05-13 03:55:03 发布
最新推荐文章于 2021-05-13 03:55:03 发布
阅读量499 收藏
点赞数
文章标签： reids-cli --pipe reids pipe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lx83350475/article/details/84511320
版权
今天想用shell分析日志做为数据源导入redis，发现用redis-cli SET key value时非常的慢，要导入大量数据花费的时间太长了，打算改用redis-cli --pipe方式导入。
官方文档[url]http://redis.io/topics/protocol[/url]。
但在组成文件数据遇到了比较大的问题

SET Key0 Value0
SET Key1 Value1
...
SET KeyN ValueN

用shell组成上面格式的数据后，用redis-cli --pipe方式导入，报如下错误
All data transferred. Waiting for the last reply...
ERR syntax error
Last reply received from server.
errors: 1, replies: 1

经调查是因为linux文档的换行是\n,但文档要求每行的结尾是\r\n.
最后用unix2dos命令将文件转换后，再执行redis-cli --pipe，不再出现错误
lx83350475
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
通过管道传输快速将MySQL的数据导入Redis
pf1234321的专栏
01-06 391
通过管道传输pipe将MySQL数据批量导入Redis 自Redis 2.6以上版本起，Redis支持快速大批量导入数据，即官网的Redis Mass Insertion,即Pipe传输， 通过将要导入的命令转换为Resp格式，然后通过MySQL的concat()来整理出最终导入的命令集合，以达到快速导入的目的。 根据需求设计好Redis的hash结构，关键是Key的设计 Redis其实就是内...
使用redis-cli --pipe快速插入数据
weixin_33860553的博客
11-08 3093
    具体实现步骤如下：（参考http://www.cnblogs.com/ivictor/p/5446503.html） 1. 新建一个文本文件redis_commands.txt，包含redis命令 SET Key0 Value0 SET Key1 Value1 ... SET KeyN ValueN 如果有了原始数据，其实构造这个文件并不难，譬如shell，pyth...
redis client protocol 解析
有用用之，无用弃之
06-24 3075
在官网http://redis.io/topics/protocol有对redis通信协议有做说明。 基于下面的一些原因，我想解析redis client protocol： 1、足够了解通信协议，有助于做出更好的系统设计。 2、学习RESP的设计思想，不仅能扩展我的思维，也许将来能应用于我的代码中。 3、因为有些人想将redis client直接并入自己已有的系统中；包括我在内。这个
批量导入千万数据到Redis集群处理方案，shell脚本处理（使用pipe处理）
mathlpz126的博客
05-22 3030
从hive查询数据，使用shell脚本管道方式导入到Redis集群。
大数据高性能数据库Redis在Windows上的使用教程
weixin_30954607的博客
12-07 89
Redis学习笔记----Redis在windows上的安装配置和使用 Redis简介 　　redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并...
homebrew-redis-cli：通过homebrew安装redis-cli
02-04
自制的redis-cli 通过自制软件安装 。 安装 brew tap aoki/redis-cli brew update && brew doctor brew install redis-cli 凹凸公式 ./bump ${VERSION} > redis-cli.rb make link brew info redis-cli brew ...
redis-cli：golang的redis-cli
03-04
众所周知，赢下要使用redis-cli命令，要么wsl ，要么docker ，甚至可以在VMware下安装一个Linux的系统，再安装redis-cli ，这些都没有直接在命令行下执行redis-cli.exe来的方便。 而早期，微软有维护一个项目，但...
redis-cli 使用密码登录的实例
09-09
Redis命令行界面（CLI）是与Redis服务器交互的主要工具，`redis-cli` 是其命令行客户端。在某些安全配置中，为了保护Redis服务器免受未经授权的访问，我们会为Redis设置密码认证。本文将详细介绍如何使用`redis-cli`...
redis-cli.exe独立二进制命令，windows下可运行
08-29
这个redis-cli.exe是我克隆了github上的源代码，然后用windows的C++编译器进行编译出的二进制程序包，这个程序无需其他依赖，独立可运行。一般自动化团队或者运维团队写脚本的时候需要用到这个，代码可以调用这个...
连接Redis服务器 在使用Redis之前，首先需要使用redis-cli工具连接到Redis服务器 redis-cli是Re
最新发布
06-08
在使用Redis之前，首先需要使用redis-cli工具连接到Redis服务器。redis-cli是Redis的命令行界面工具。 redis-cli -h <hostname> -p <port> -a -h：指定Redis服务器的主机名或IP地址。 -p：指定Redis服务器的端口，...
深入学习Redis（二）对pipeline的理解
weixin_34396103的博客
03-28 322
一、redis中的RTTRTT，round trip time， 即往返时间，指的是一个请求响应的时间。redis的通信协议是基于tcp的请求/响应协议，在发送一个请求，读取到响应后才可以发送下一个请求，整个来回的时间即为RTT。假如一个RTT的时间为250ms，那么1s内redis只能处理4个命令，这大大浪费了redis高qps的能力。二、pipeline原理redis中的pipeline实现原...
redis基本操作
EEEEEEcho的博客
02-23 1547
2020年2月23日，今天有点奇怪，事情是这样的，我参加了研究生考试，初试成绩并不是很理想，但是我也没后悔，我尽力了吧。确实尽力了。我也不是那种矫情人，不想吐吐苦水，就是突然想到的。我很喜欢将博客当做一个记录生活和技术的地方，我的博客基本上就是记录自己学到的知识，所以，一开始，这东西，就是自己用的。我也不在意有多少人能看到，反正也没多少人会看。 言归正传，初试成绩可能应该能擦边进复试，大家都在疯狂...
linux redis导出数据,redis数据批量导出
weixin_36087083的博客
05-13 1380
1数据导出linuxecho "SMEMBERS key1"| redis-cli >> c.datagit2.采用redis-dump导出github数据导入redis将c.data的数据经过编辑器转化为相关语句编辑器sadd key1 111111unix执行导入cat c.data | redis-cli--pipeserverhttp://redis.io/topics/ma...
Redis从文件中批量执行命令
u012689336的专栏
11-25 1万+
在redis中，如果要批量执行某些命令，在redis的redis-cli下，只能一条条的执行指令，实在太麻烦了！  如果把要执行的命令一行行存储到文件中，然后一次性执行完成。 1、创建文件 首先创建一个txt文件，将要执行的指令一行一行写进去。 [sparkadmin@hadoop4 redis-3.2.4]$ vim d1.txt  set mykey1 value1 zad
用脚本批量执行redis命令
多看多听多总结
11-19 6299
如果将命令写到txt文件中，形式为每行一个命令：set key value  然后用cat example.txt | redis-cli --pipe 会提示All data transferred. Waiting for the last reply... ERR syntax error Last reply received from server. errors: 1, re
redis-cli pipe 管道
kunpengku
08-25 4464
cat  formattedData.txt  | redis-cli -h 10.11.0.71 -p 6385 --pipe #coding=utf-8 import sys import MySQLdb outputFile = "formattedData.txt" delimiter = "\r\n" for line in result: row = [] r
redis-cli 通过管道 --pipe 快速导入数据到redis中
qq_33673359的博客
11-14 2907
最近有个需求，需要把五千万条数据批量写入redis中，方法倒是有很多种！效率最高的就是通过redis-cl管道的方式写入 一：先看看命令 cat redis.txt | redis-cli -h 127.0.0.1 -a password - p 6379 --pipe 结构很简单 redis.txt 是你的文件名称 后面是你的客户端 二：redis.txt 的 文件格式 2.1 re...
Redis(2) redis-cli 客户端操作Redis - 常用命令大全
热门推荐
郑清
01-02 5万+
使用redis-cli 客户端操作redis redis是一个key-value的Nosql,我们能操作就只有String类型key以及各种类型value.但是一定要注意我们添加的一般都是字符串,只是会组织为特定数据结构. set(key ,map,set) --> set(key ,1),set(key ,"2") 注意：要先启动redis服务端 对value为stri...
携程开源Redis多数据中心解决方案XPipe
博客
04-26 2574
Redis在携程内部得到了广泛的使用，根据客户端数据统计，整个携程全部Redis的读写请求在每秒200W，其中写请求约每秒10W，很多业务甚至会将Redis当成内存数据库使用。这样，就对Redis多数据中心提出了很大的需求，一是为了提升可用性，解决数据中心DR（Disaster Recovery）问题；二是提升访问性能，每个数据中心可以读取当前数据中心的数据，无需跨机房读数据。在这样的需求下，XP...
明明有redis-cli却bash: redis-cli：未找到命令
09-12
您可能遇到了环境变量的问题，导致无法直接使用redis-cli命令。一个解决办法是使用redis-cli的全路径来执行命令。您可以按照以下步骤来解决这个问题： 1. 首先，您需要找到redis-cli所在的目录。您可以通过运行以下...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值