python数据采集(爬虫)获取页面源代码出现乱码文字解决办法

最新推荐文章于 2023-07-24 13:23:14 发布
最新推荐文章于 2023-07-24 13:23:14 发布
阅读量1k 收藏 2
点赞数 2
分类专栏： 数据采集bug_note 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52009712/article/details/119274277
版权

what(问题详细)：

        在使用requests库爬取页面时，爬取到的数据含有乱码

why(原因分析)：

        首先想到有可能是编码方式出了问题，经过一波操作，在路飞学城得到了解决方案。

        原来是因为默认的编码方式utf-8与爬取网页的编码方式不一致，知道原因后那我们直接用代码指定编码方式，让两种默认utf-8变成跟网站一样的编码方式就可以了呀！

        根据爬取到的内容，我们不难得知该网站采用的编码方式为gb2312

how(解决办法)：

        代码如下（第5行）

MOOD:

        有善始者实繁，能克终者盖寡。关注VX公众号pgshuju，大家一起来坚持、交流和学习吧~

pgshuju
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫获取网页源代码出现乱码
GXQ的博客
01-11 5052
发现用python用requests在百度中获得的代码有乱码 import requests # 0.通过如下代码，会发现获取的网页源代码出现乱码 url = 'https://www.baidu.com' res = requests.get(url).text print(res) 出现乱码 查看python获得的编码格式 import requests # 0.通过如下代码，会发现获取的网页源代码出现乱码 url = 'https://www.baidu.com' res = requests.g
数据采集，响应数据中文乱码解决办法
qugenpeng的博客
09-09 365
response= requests.get(base_url, headers=headers) # 响应数据 html_info = etree.HTML(response.text) a_text = html_info .xpath('//*[@id="list"]/dl/dd/a/text()') # 响应中文列表 for i in a_text: print(i) # 发现此处是中文乱码 前期打印response.text 发现整个页面是 utf-8 编码 str_info .
python读取数据库出现中文乱码
weixin_42340631的博客
06-26 1089
python读取数据库出现中文乱码 使用pymssql读取数据库时出现中文乱码 connect = pymssql.connect(host=’’, server=’‘, port=‘1433’, user=‘sa’, password=‘123’, database=’’) 解决办法: 设置charset=’cp396’ connect = pymssql.connect(host='', server='', port='1433', user='sa', password='123',
Python爬取数据过来结果是乱码怎么办？两种解决方案
微滑低的博客
01-27 2959
Python爬取数据过来结果是乱码怎么办？两种解决方案 1.将爬取的数据拜纳姆设置和自己编码一样的编码 response = requests.get(url=url, headers=headers) response.encoding = 'utf-8' page_text = response.text 2.通用解决方案(img_name为我自己的内容，将其修改为你的就行) img_name = img_name.encode('iso-8859-1').decode('gbk') ...
python源码乱码问题
Swxctx
04-24 407
SyntaxError: Non-ASCII character '\xe5' in file ./char7.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details 原因：Python默认是以ASCII作为编码方式的，如果在自己的Python源码
Python网络爬虫出现乱码问题的解决方法
12-24
Python网络爬虫在抓取网页数据时，可能会遇到各种乱码问题，这主要源于源网页的编码和爬虫程序处理编码之间存在不匹配。解决乱码的关键在于正确地识别和处理网页的编码。 首先，我们需要了解乱码产生的原因。源网页...
Python爬虫基于lxml解决数据编码乱码问题
09-16
在Python爬虫开发中，经常会遇到数据编码导致的乱码问题。当爬取网页内容时，如果不正确地处理字符编码，输出的结果可能会显示为奇怪的符号，如"å·²éª​è¯​ å®​å​¨ ç​¾ç​"。这通常是因为网页的...
Python爬虫精简步骤1 获取数据
12-23
Python爬虫技术是数据获取的重要手段，主要用于自动化地从互联网上收集信息。在这个过程中，爬虫需要遵循一系列步骤，首先是获取数据。本文将详细介绍如何利用Python的requests库完成这一基本任务。 requests库是...
python中requests爬去网页内容出现乱码问题解决方法介绍
12-25
最近在学习python爬虫，使用requests的时候遇到了不少的问题，比如说在requests中如何使用cookies进行登录验证，这可以查看这篇文章。这篇博客要解决的问题是如何避免在使用requests的时候出现乱码。 import ...
网页数据爬取中文乱码处理--编码问题
热门推荐
u010924297的博客
05-17 2万+
自学爬虫有一段时间了，期间总是觉得内容编码会傻傻分不清楚，尤其是直接网页拿数据的时候，遇见中文有时候特别麻烦，看大神介绍的东西太多，只记下了处理方式，仅供参考，不对地方欢迎大家指正~~一般请求返回内容编码方式步骤如下：1、查看数据源网页的编码形式--爬取数据所在网页源代码就有写：2、编码解析：respond.decode(请求返回的编码格式).encode(Python默认的utf-8)笔记中其他...
采集数据中多余代码删除方法（安全采集数据）
moshi_6的博客
12-16 565
简数采集器支持自动删除采集数据中的多余代码，让您放心安全的进行采集数据： 1. 自动过滤不常用代码，例如删除js代码等； 2. 自定义灵活删除指定代码，可以按照位置和数量删除；
怎样在python中提取html源代码中的内容（去掉标签后的纯网页的内容） python如何获取需登录会员后复制文字的部分网页内容
weixin_43718742的博客
12-08 2081
python中提取html源代码中的内容 python如何获取需登录会员后复制文字的部分网页内容 如何在jupyter中不换行输入 Non-UTF-8 code starting with '\xe7' in file .py on line, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details re正则库sub替换字符串 &nbsp &ensp
python中——requests爬虫【中文乱码】的3种解决方法
最新发布
LHJCSDNYL的博客
07-24 1万+
python中requests爬虫【中文乱码】问题，是最常遇到的问题，对于初学者来说，是很困恼的。本文将详细说明，python中使用requests库编写爬虫程序时，出现【中文乱码】的原因，及常见3种解决办法。
关于python爬取网页编码的问题
sinat_29049969的博客
11-25 439
网页刚读取到的内容是二进制的，想要得到文字，就得转下编码。具体转什么码要根据网页的编码来，一般是utf-8，但是像这次就是gbk。
Python爬虫——URL编码/解码详解
Itmastergo的博客
12-30 7372
当 URL 路径或者查询参数中，带有中文或者特殊字符的时候，就需要对 URL 进行编码（采用十六进制编码格式）。URL 编码的原则是使用安全字符去表示那些不安全的字符。安全字符，指的是没有特殊用途或者特殊意义的字符。
彻底解决网络爬虫遇到的中文乱码问题
a284365的博客
06-29 6505
彻底解决python网络爬虫中文乱码问题！！！！！
python爬虫时中文乱码完美解决方案
find1star的博客
06-21 3338
python爬虫乱码问题解决
Python 爬虫数据乱码解决方式
weixin_48826751的博客
03-10 6941
数据乱码大多来自于编码格式不支持中文显示，解决方式主要有如下两个： 1.设置对响应对象的编码格式 2.设置爬取到的数据编码格式及解码格式
14 Python进行数据乱码处理
Eric005的博客
10-05 1906
我们在爬取网页时，结果会出现乱码，这是因为编码不一致的原因导致的，那么如何解决这样的问题就显得非常重要。
爬虫获取网页源代码有乱码怎么解决
06-10
爬取网页源代码出现乱码的原因可能是因为网页编码与爬虫的编码不一致，可以尝试以下几种解决方法： 1. 在请求头中添加编码格式 在请求头中添加网页的编码格式，例如： ```python headers = { 'Content-Type': 'text/html;charset=utf-8' } response = requests.get(url, headers=headers) ``` 2. 使用 chardet 库自动检测编码格式 chardet 是一个 Python 库，可以自动检测文本编码格式，可以使用以下代码来自动检测网页编码格式并对其进行解码： ```python import requests import chardet response = requests.get(url) response.encoding = chardet.detect(response.content)['encoding'] html = response.text ``` 3. 手动指定解码方式 如果以上方法都无法解决乱码问题，可以手动指定解码方式，例如： ```python import requests response = requests.get(url) html = response.content.decode('gbk', 'ignore').encode('utf-8', 'ignore') ``` 以上是几种常见的解决乱码问题的方法，根据不同的情况选择不同的解决方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值