爬虫返回数据乱码问题

最新推荐文章于 2023-07-24 13:23:14 发布
最新推荐文章于 2023-07-24 13:23:14 发布
阅读量2.8k 收藏 3
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41827268/article/details/85101097
版权

在进行爬取过程中会遇到 页面解析时为中文， 但是爬取下来的时候发现中文为乱码的情况，这种情况的产生实则是编码问题
以阳光问政 这个网站为例子，在页面上查看的数据如下图

https://img-blog.csdnimg.cn/20181219165527103.jpeg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTgyNzI2OA==,size_16,color_FFFFFF,t_70
而实际返回的则是诸如此类的乱码

在这里插入图片描述

所以我们应在解析的时候进行编码的转换，下面是实际的代码：

rsp = requests.get(url="http://wz.sun0769.com/index.php/question/questionTypetype=4&page=1", headers=headers)
rsp.encoding = 'GBK'
print(rsp.text)

处理后的返回结果如下图
在这里插入图片描述

其中“gbk" 可以根据不同网页的不同加密方式进行转换，还有“gb2312"等格式，具体情况具体分析

zhengchao_
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
关于python爬虫爬取数据出现乱码问题解决
weixin_45191282的博客
02-03 4540
1、必须首先查看网页源代码里的head头部说明标签（以飞卢小说网，起点小说网为例） 飞卢小说： 起点小说： 很明显，起点小说的utf-8,gbk和iso都是可以走寻常道路的，都可以参照以下代码： 代码1 try: r = requests.get(url) r.status_code r.encoding = r.apparent_encodi...
Python 爬虫数据乱码解决方式
weixin_48826751的博客
03-10 6926
数据乱码大多来自于编码格式不支持中文显示，解决方式主要有如下两个： 1.设置对响应对象的编码格式 2.设置爬取到的数据编码格式及解码格式
Python爬虫中文乱码问题
学习一定要有针对性的练习-实操！
02-07 1374
我们在爬虫输出内容时，常常会遇到中文乱码情况（以如下网址为例）。 https://chengdu.chashebao.com/yanglao/19077.html 在输出内容时，出现如下图的情况： 解决爬虫中文乱码的步骤 网址编码为gbk 查看网页源代码的head部分的编码：<meta http-equiv="Content-Type" content="text/html; charset=gb2312">，发现网页编码为gbk类型 利用requests库的方法查看默认输出的编码
python爬虫返回文本为乱码的解决方法
weixin_46830352的博客
09-16 4385
1、在网站爬取文章时，返回的结果为乱码，如下 2、出现这种情况是因为访问page_text.text时，Requests会使用其推测的文本编码。 查看网页返回的字符集类型：page_text.apparent_encoding 查看自动判断的字符集类型：page_text.encoding 可以看到Requests推测的文本编码（ISO-8859-1）与源网页编码（utf-8)不一致 3、解决方法 （1）方法一：在page_text.text之前，指定.encoding为源网页的编码..
Python爬虫学习（2）：爬取网站返回的内容为乱码解决方法
qq_41817925的博客
03-04 2415
1、爬取某网站内容时，返回的结果为乱码，如图： 2、原因解释 Requests会基于HTTP头部响应的编码做出有根据的推测，当访问r.text时，Requests会使用其推测的文本编码。 查看网页返回的字符集类型：r.apparent_encoding 查看自动判断的字符集类型：r.encoding 可以看到Requests推测的文本编码（ISO-8859-1）与源网页编码（utf-8） 不一致，因此会导致乱码问题的出现。 注：源网页也能直接查看编码格式，如下图： 3、解决方法 这里要注意顺序，需要先
python中——requests爬虫【中文乱码】的3种解决方法
热门推荐
LHJCSDNYL的博客
07-24 1万+
python中requests爬虫【中文乱码】问题，是最常遇到的问题，对于初学者来说，是很困恼的。本文将详细说明，python中使用requests库编写爬虫程序时，出现【中文乱码】的原因，及常见3种解决办法。
Python网络爬虫出现乱码问题的解决方法
12-24
Python网络爬虫在抓取网页数据时，可能会遇到各种乱码问题，这主要源于源网页的编码和爬虫程序处理编码之间存在不匹配。解决乱码的关键在于正确地识别和处理网页的编码。 首先，我们需要了解乱码产生的原因。源网页...
Python爬虫精简步骤1 获取数据
12-23
当遇到文本乱码问题时，可以通过设置这个属性来解决。 了解了这些基础属性，我们可以进一步处理和分析获取的数据。然而，进行网络爬虫时，必须遵守《Robots协议》。这是一个由网站设定的规则，用于告知爬虫哪些页面...
powershell网络蜘蛛解决乱码问题
09-21
本文主要关注如何使用PowerShell解决网络爬虫抓取网页时遇到的乱码问题。一种解决方案是采用自定义的函数，如上面提供的`Read-HtmlPage`。这个函数通过创建一个`HttpWebRequest`对象来发起HTTP请求，并获取响应。...
Python request中文乱码问题解决方案
12-16
然而，如果服务器没有正确设置或传递编码信息，或者服务器返回的数据实际编码与声明的编码不一致，就会出现乱码问题。 解决Python `requests`获取中文网页乱码问题的方法主要有以下两种： 1. **使用`r.text`**： ...
爬虫之网页解析
xiaomu_347的博客
03-11 499
（1）beautifulsoup https://blog.csdn.net/winterto1990/article/details/47624167/ （2）re （3）lxml
Python：爬虫乱码
weixin_45068714的博客
10-14 2367
在所有的编解码方式中，ASCII码字符对应的二进制表示都是一样的。编、解码要相对应，才能不损失数据原本的意义，我们才不会误解数据；数据以编码方式1进行编码的到字节流，那么这段字节流必须以对应的解码方式1进行解码，才可以得到原始的数据；否则这段字节流可能会：1、解码成别的数据（按照解码方式2，这一段二进制位对应了别的字符）；2、解码失败（按照解码方式2，这一段二进制位可能不对应任何字符）。
爬虫返回乱码以及解决办法以及锟斤拷、ISO-8859-1转码、&#、&#x转码、unicode转码，gbk转码，ascii转码、gb2312转码
风华浪浪的博客
03-28 7020
注销设置Accept-Encoding为gzip,deflate，返回的网页是乱码 ����g�/1�C�y�/�D�O��’�� ‘Accept-Encoding’: ‘gzip, deflate, br’ 去掉后面的br或者 注释Accept-Encoding import requests class InfoTec(object): def __init__(sel...
python 爬虫返回521
qq_41879417的博客
09-29 1423
今天爬取网站返回状态码521，经过分析发现是JS混淆加密，以下是具体破解代码： import execjs import re import requests import time url = 'http://www.mps.gov.cn/n2254536/n2254544/n2254552/n6636622/n6636639/c6641737/content.html' headers ...
盘点3种Python网络爬虫过程中的中文乱码的处理方法
i54996的博客
10-13 2312
这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案，希望对大家的学习有所帮助。 前言 前几天有个粉丝在问了一道关于使用Python网络爬虫过程中中文乱码的问题，如下图所示。 看上去确实头大，对于爬虫初学者来说，这个乱码摆在自己面前，犹如拦路虎一般难顶。不过别慌，小编在这里给大家整理了三种方法，专门用于针对中文乱码的，希望大家在后面再次遇到中文乱码的问题，在此处可以得到灵感！ 一、思路 其实解决问题的关键点就是在于一点，就是将乱码的部分进行处理，而处理的方案主...
图片需要调用接口获取，如何将返回的图片乱码转为真实图片
CS饭 的博客
04-12 1378
输出返回的图片数据，显示乱码（ArrayBuffer 二进制流） 若要正常展示图片，需要对其进行转换：
PHP通过CURL的方式读取图片接口输出乱码
辰风沐阳
10-27 840
文章目录1. GD库做的图片2. 请求图片接口，使用 base64_encode() 函数处理3. 错误示例 1. GD库做的图片 用 GD库做的图片，并输出到浏览器上 <?php $file = imagecreate(100,50); $color = imagecolorallocate($file,255,255,255); $c = imagecolorallocate($file,0,100,255); imagefill($file, 0, 0, $c); imagechar
后端返回二进制图片前端乱码解决方案
weixin_46801282的博客
03-09 9457
今天有小伙伴发现一个问题,后端返回一张图片,但是前端打印结果是�PNG\r\n\u001a\n\u0000\u0000\u0000\rIHDR\u这种unicode乱码,postman和浏览器调试返回都能看到图片 打印结果如图所示: 简单测试了一下,发现出现这种情况是因为后端图片没有转码成base64直接用文件流返回,就像这样 router.get('/test', (req, res) => { fs.readFile('./test.png', 'binary', function (err
python爬虫乱码
最新发布
08-15
你好！对于爬虫中的乱码问题，有几种可能的原因和解决方法。 1. 编码问题：网页的编码和解析方式可能与你的代码不一致。你可以尝试使用`response.encoding`来指定网页编码，或者使用`response.content.decode('utf-8')`来手动解码。 2. 处理特殊字符：有些网页中包含特殊字符，如emoji表情或非标准字符。你可以使用`unicode_escape`编码对这些字符进行处理，例如：`response.content.decode('unicode_escape')`。 3. 字符集转换：有时候网页中的字符集并非UTF-8，而是其他字符集，如GBK或者GB2312。你可以尝试使用相应的字符集进行解码，例如：`response.content.decode('gbk')`。 4. 请求头设置：有些网站会根据请求头中的信息返回不同的编码或内容。你可以尝试设置请求头中的`Accept-Encoding`字段，例如：`headers = {'Accept-Encoding': 'gzip, deflate'}`。 5. 数据清洗：如果以上方法都没有解决问题，可能是因为网页本身就存在乱码或格式错误。在爬取数据后，你可以使用一些文本处理库（如`chardet`）来检测和清洗乱码或非法字符。 希望以上解决方法能帮助到你！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值