scrapy_redis存数据到redis中文乱码问题

于 2024-03-25 08:00:00 发布
阅读量334 收藏
点赞数 2
文章标签： scrapy python redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/captain_thomas_l/article/details/136891223
版权
文章讲述了在Scrapy爬虫中使用scrapy_redis管道时遇到的中文乱码问题，由于Redis存储的item被编码为Unicode转义序列，导致Python解析时出现问题。解决方法是使用json.loads()函数在取回数据时手动转换为字典，从而正确显示中文。
摘要由CSDN通过智能技术生成

在spider中我们在parse函数中

        yield {
            'name':name+'.txt',
            'text':str
        }

scrapy_redis的管道会自动帮我们把item传到redis中，但是查看redis发现出现了中文乱码

从redis中取回数据仍然乱码

查阅大量资料后发现我们的item被存储到redis时，中文被编码成了形如 \uXXXX 的 Unicode 转义序列，item被转换成了json字符串

但是python无法自动解析json字符串中的Unicode 转义序列

解决办法就是用python从redis取数据时，调用json.loads()将接收的json字符串转换成原来的字典形式，python就会自动解析中文：

data=json.loads(data)

此时打印data

发现data中文正确显示了

Captain_Thomas_L
关注
Python——redis操作手册
编程我在行
01-18 1417
Redis操作手册 一、Redis简介 1.概述 Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动分区。
python3 scrapy_redis 分布式爬取房天下存mongodb
徐代龙的技术专栏
04-30 2871
（一）scrapy_redis 简单介绍 scrapy_redis基于scrapy框架的基础上集成了redis，通过了redis实现了去重，多台服务器进行分布式的爬取数据。 （二）scrapy_redis 简单配置 （1）settings.py 文件中加入两行代码： #启用Redis调度存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Sched...
redis 中文乱码
nangua06的博客
08-29 708
redis-cli --raw
python---redis存入中文显示乱码
weixin_43838830的博客
08-29 3857
import redis import chardet r.set("name","我是在Py3保存的中文字符串") ret = r.get("name")#（一个汉字三个字节） print(ret,type(ret)) print(chardet.detect(ret))#chardet.detect检测的字符串越长越准确，越短越不准确。 print(ret.decode("utf-8"))...
redis中文乱码_Redis 命令
weixin_36267013的博客
01-24 217
Redis 命令Redis 命令用于在 redis 服务上执行操作。要在 redis 服务上执行命令需要一个 redis 客户端。Redis 客户端在我们之前下载的的 redis 的安装包中。语法Redis 客户端的基本语法为：$ redis-cli实例以下实例讲解了如何启动 redis 客户端：启动 redis 客户端，打开终端并输入命令 redis-cli。该命令会连接本地的 redis 服务...
redis中文乱码问题
weixin_40083227的博客
02-14 490
解决Redis中文乱码问题 启动客户端的时候添加 --raw 选项即可 macbook@localhost:~$ redis-cli 127.0.0.1:6379> set key1 ‘上海’ OK 127.0.0.1:6379> get key1 “\xe4\xb8\x8a\xe6\xb5\xb7” 127.0.0.1:6379> wangyulong@code-local:~...
Redis中文乱码问题
RYIJU5YUJTY的博客
05-30 2181
解决redis乱码问题
小项目-数据爬取篇：scrapy-redis，手机网页，房天下租房信息，分布式，代理ip
泛泛之素
12-31 3491
scrapy-redis，手机网页，房天下租房信息，分布式，代理ip
Scrapy爬虫同步、异步保存MySQL
背离赤道、逆光而行
02-21 2199
1、保存数据库有两种方法： 同步操作：数据量少的时候采用 异步操作：数据量大时采用，scrapy爬取的速度大于数据库插入的速度，当数据量大时就会出现堵塞，就需要采用异步保存。 这里多大的数据量才可定义为大？？ 2、须知mysql知识点 数据库与表的创建，基本操作；      参考https://blog.csdn.net/shalyniu/article/details/79247423 数...
redis命令行查看中文不乱码的方法（十六进制字符串处理）
12-16
redis命令行查看中文不乱码 Redis在使用命令行操作时，如果查看内容中包含中文，会显示16进制的字符串”\xe4\xb8\xad\xe5\x9b\xbd” 127.0.0.1:6379> set k1 '中国' OK 127.0.0.1:6379> get k1 "\xe4\xb8\xad\xe5\x9b\xbd" 如果想要看到的中文不乱码，解决方案有两种： 一、使用echo $ echo -e `redis-cli get k1` 中国 二、redis-cli 后面加上–raw $ redis-cli --raw 127.0.0.1:6379> get k1 中国 下面给大家详细
爬虫--06：scrapy框架
Rhymeplot__JDQS的博客
05-05 1085
Crawler-06: Scrapy Framework scrapy框架基础一、scrapy框架的介绍二、scrapy框架的工作流程 scrapy框架基础 一、scrapy框架的介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取 Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度 异步：调用在发出之后，这个调用就直接返回，不管有无结果 非阻塞：关注的是程序在等待调用结果时的状态，指在不能立刻得到结果之前，该调用不会阻塞当
scrapy爬虫框架学习入门教程及实例
jly58fgjk的博客
06-05 6163
Scrapy是一个基于Twisted，纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～ Scrapy 使用 Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。整体架构如下图所示： 绿线是数据流向，首先从初始URL 开始，Scheduler 会将其交给 D
redis数据显示中文乱码
qq_44209563的博客
10-27 1604
问题 前提： redis安装在虚拟机中，远程连接工具使用xshell 在java项目中，使用redisson框架来操作redis，往redis存放的数据包含中文，之后在redis客户端中查询数据，显示乱码： 网上大多数说使用redis-cli命令加上--raw参数重新启动客户端后即可， 尝试使用redis-cli --raw命令启动客户端，再次查询，依然无法正常显示: 尝试修改xshell的编码集，无果。 解决 因为我不知道redisson默认采用的编码集是什么，认为可能是写入和显示的时候使用不同的编码
使用Redis出现中文乱码，如何解决？
weixin_70472228的博客
04-15 2580
到这里，中文乱码的问题就已基本解决！set name "中国"
redis中文乱码解决方法
dxb10_01的博客
01-15 1万+
正常登录redis数据库: ]$ redis-cli 写入数据如: 127.0.0.1:6379 > set address 南京 查看时字体乱码如: 127.0.0.1:6379> get address "\xe5\x8d\x97\xe4\xba\xac" 解决方法: 在登录数据库时后面加 --raw 即可 示例: ]$ redis-cli --raw 127.0.0...
Redis命令行解决中文乱码问题
JerryKit的博客
10-12 1615
Redis是一个使用ANSI C编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库。 图一：首先win+R->cmd进入命令行，然后输入chcp 65001（这个作用是添加一个utf-8的字符类型，并且将命令行的编码转换成utf-8的类型，因为windows命令行默认的是gbk格式）。 图二：进入redis的安装目录，然后输入redis-cli --raw -h 127.0.0.1(这边的ip是自己的ip)。 图三：输入你的密码auth password。 图四：为设置过编码之后的样子
Redis中文乱码问题的解决
热门推荐
yuhuofei的草屋
09-20 1万+
今天测试一个小功能，用redis做了个缓存，然后启动redis客户端进行查询，发现得不到想要的中文结果。网上查找相关的解决方案，却没有一个能完整解决问题的，最后自己一步一个脚印解决了。 1. 问题的产生 （1）将接口返回数据写入redis，设置key为“data” （2）找到redis安装目录中的redis-server.exe，双击启动 （3）在redis-server.exe这个文件的这一层地址栏，输入cmd，打开控制台，然后输入redis-cli并回车，接着PING一下连通性，可以看到客户端是没有
Redis-cli 查询中文数据乱码问题
一条菜鸟鱼的博客
07-05 2785
Redis-cli 查询中文数据乱码问题
scrapy redis
最新发布
06-25
Scrapy Redis是一个扩展，用于Scrapy爬虫框架，它可以将Scrapy项目的item存储在Redis数据库中，从而简化爬取数据的过程并提高效率。使用Scrapy Redis，你可以： 1. **队列管理**：Scrapy Redis作为爬虫的队列，可以有效地管理待抓取的URL，避免了重复和无序的抓取，支持批量抓取。 2. **分布式爬虫**：通过Redis的发布/订阅机制，可以轻松地在多个Scrapy爬虫之间分发任务，实现分布式爬取。 3. **数据持久化**：Redis提供强大的数据持久化，即使在服务器重启后，也可以从上次爬取的位置继续。 4. **实时过滤**：Redis允许实时过滤已抓取的内容，避免重复抓取和存储。 要使用Scrapy Redis，你需要安装scrapy-redis库，然后在Scrapy项目设置中配置redis连接信息。接下来，定义一个RedisPipeline，它会在爬虫运行过程中自动将抓取的item添加到Redis中。此外，你还需要配置Spider以从Redis中获取待抓取的URL。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值