requests获取到的网页源码中存在乱码的三个解决方法

最新推荐文章于 2023-03-29 15:00:55 发布
最新推荐文章于 2023-03-29 15:00:55 发布
阅读量1.1k 收藏
点赞数 1
分类专栏： Python 爬虫 文章标签： python requests 字符集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MacwinWin/article/details/107581229
版权
Python 同时被 2 个专栏收录
180 篇文章 1 订阅
订阅专栏
爬虫
16 篇文章 0 订阅
订阅专栏 
>>> res = requests.get(html)
>>> print(res.text)
^&&*!!@#5%#

从html的头部可见使用gbk字符集:

<html>
<head>
	...
	<meta http-equiv="Content-Type" content="text/html; charset=gbk">
	...

方法一:

>>> res.encoding = 'gbk'
>>> print(res.text)

方法二:

>>> res.encoding = res.apparent_encoding
>>> print(res.text)

方法三:

>>> print(res.text.encode('iso-8859-1').decode('gbk')

2020-08-06 更新

某网站使用gbk进行编码
最开始我使用方法二

<!DOCTYPE html>\r\n<html>\r\n<head>\r\n    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">\r\n    <link rel="icon" href="/favicon.ico" type="image/x-icon"/>\r\n    <meta http-equiv="Content-Type" content="text/html; charset=gbk">\n    <title>【深圳-龙华新区影像����工程��_影像����工程��招聘_富士康科技集团CMBU】-前程无忧官方招聘网站</title>\n    <meta name="description" content="深圳-龙华新区影像����工程��富士康科技集团CMBU招聘，前程无忧官方网站，提供最新最全富士康科技集团CMBU招聘职位，以及深圳-龙华新区影像����工程��相关职业信息。帮助您顺利获得深圳-龙华新区影像����工程��的职位，前程无忧招聘网站助您开启崭新职业生涯，找工作上前程无忧！">\n    <meta name="keywords" content="深圳-龙华新区影像����工程��招聘,富士康科技集团CMBU招聘,深圳-龙华新区影像����工程��最新招聘信息">\n

换用方法三后

<!DOCTYPE html>\r\n<html>\r\n<head>\r\n    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">\r\n    <link rel="icon" href="/favicon.ico" type="image/x-icon"/>\r\n    <meta http-equiv="Content-Type" content="text/html; charset=gbk">\n    <title>【深圳-龙华新区影像數據工程師_影像數據工程師招聘_富士康科技集团CMBU】-前程无忧官方招聘网站</title>\n    <meta name="description" content="深圳-龙华新区影像數據工程師富士康科技集团CMBU招聘，前程无忧官方网站，提供最新最全富士康科技集团CMBU招聘职位，以及深圳-龙华新区影像數據工程師相关职业信息。帮助您顺利获得深圳-龙华新区影像數據工程師的职位，前程无忧招聘网站助您开启崭新职业生涯，找工作上前程无忧！">\n    <meta name="keywords" content="深圳-龙华新区影像數據工程師招聘,富士康科技集团CMBU招聘,深圳-龙华新区影像數據工程師最新招聘信息">\n
micromicrofat
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python requests获取网页常用方法解析
09-17
`requests.get()`函数是最基础的网页获取方法，它接收一个URL作为参数，返回一个Response对象。在`Crawler`类中，`_getCookie()`方法展示了如何通过GET请求获取站点的cookie： ```python def _getCookie(self): try...
Python3使用requests包抓取并保存网页源码的方法
12-24
本文实例讲述了Python3使用requests包抓取并保存网页源码的方法。分享给大家供大家参考，具体如下： 使用Python 3的requests模块抓取网页源码并保存到文件示例： import requests html = requests.get(...
scrapy 爬取网页源代码是中文乱码
qq_55033799的博客
03-29 320
g2312编码网页 爬取出现中文乱码
HTML头部 （其中详解了meta标签）
m0_62200674的博客
07-05 630
HTML头部包含的标签，重点讲解了meta
编码乱码,浏览器IE乱码,谷歌正常问题
柳的博客
06-29 4640
最近做项目的时候在谷歌浏览器上测试正常,但在IE上出错.最后发现原来IE中URL有中文时会出现乱码问题,解决方法很简单只要再原来的URL用encodeURI编码下就可以.  encodeURI(url); 再后来查看代码中发现很多之前都写死在程序中,这样都会有问题,servlet中可以获取请求编码方式 request.getCharacterEncoding() 然后再对
关于ie浏览器请求参数乱码问题及解决
qq_39027022的博客
10-23 3492
对于如何处理乱码问题,网上也有好多种方案及原因,但是这里记录的是如何解决在非ie内核浏览器访问正常,在ie内核的浏览器中访问出现请求参数乱码的问题解决, 可以通过encodeURI的形式将请求参数进行转换(encodeURI(encodeURI(中文))),但是此种方案在使用spring架构时,会在项目里配置编码处理,因此依然会出现编码转换不正常的情况,此种访问需要对浏览器进行区分,否则会造成谷
解决requests爬取网页源代码出现乱码
qq_41081716的博客
11-24 2478
都在推荐用Requests库，而不是Urllib，但是读取网页的时候中文会出现乱码。 分析：r = requests.get(“http://www.baidu.com“) r.text返回的是Unicode型的数据。使用r.content返回的是bytes型的数据。也就是说，如果你想取文本，可以通过r.text。如果想取图片文件，则可以通过r.content。 比如在下面这种就会出...
python中requests爬去网页内容出现乱码问题解决方法介绍
12-25
最近在学习python爬虫，使用requests的时候遇到了不少的问题，比如说在requests中如何使用cookies进行登录...我们可以通过在网页上右击查看源代码中查看编码方式：content=”text/html;charset=utf-8″-> 我们便可以
解决python3中的requests解析中文页面出现乱码问题
09-19
总的来说，解决requests在Python 3中解析中文页面出现乱码问题的关键在于正确设置`response.encoding`属性。在实际开发中，应对不同编码的网页有充分的认识，合理处理编码问题，确保数据的正确解析。在编写爬虫或...
获取网页源代码。支持从txt中获取URL以及导出txt文件
01-03
在这个主题中，我们将深入探讨如何从txt文件中获取URL并下载网页源代码，以及如何将这些源代码导出到新的txt文件。 首先，我们需要理解如何从txt文件中读取URL。在编程中，这通常涉及到文件I/O操作，特别是读取文件...
import requests获取网页源代码.docx.url
04-10
import requests获取网页源代码.docx.url
Python requests模块基础使用方法实例及高级应用(自动登陆,抓取网页源码)实例详解
09-17
requests库是Python进行Web开发和爬虫的重要工具，其丰富的功能和易用的接口使得开发者能够快速地实现网络请求，无论是简单的数据获取还是复杂的网页交互，requests都能轻松应对。结合BeautifulSoup、Scrapy等其他库...
Python中获取网页状态码的两个方法
12-23
第一种是用urllib模块,下面是例示代码： 复制代码 代码如下: import urllib status=urllib.urlopen(“//www.jb51.net”).code print status 第二章是用requests模块,下面是例示代码： 复制代码 代码如下: import ...
Python获取网页上图片下载地址的方法
09-22
在这个例子中，`urllib2.urlopen(uri)`用于获取指定URL的网页内容，并通过`read()`方法读取其内容为字节流。 2. **HTML解析**：`HTMLParser`是一个基础的HTML解析器，可以帮助我们解析HTML文档中的特定元素。这里...
python获取整个网页源码的方法
09-16
在上述代码中，首先导入`requests`库，然后使用`requests.get()`函数发送一个GET请求到指定URL。返回的响应对象`res`包含了服务器的响应，其中`res.text`属性存储了网页的HTML源码。由于网页编码可能不总是自动识别...
Python使用request.get函数，返回的网页内容为UNCOIDE编码，中文出现乱码解决方案
weixin_44633882的博客
12-07 1501
python使用request.get函数，返回的网页内容为UNCOIDE编码，中文出现乱码解决方案 问题描述： 首先先确定不是使用编辑器和奇怪环境是VS code 自带OUTPUT的锅。。 GET有个网站返回的是UNICODE编码的字节流。 b'{"code": 1, "proxies": [{"https": "110.83.46.180:808", "\\u6700\\u540e\\u9a...
html乱码怎问题
Hling's Blog
07-04 3072
lang=lang> - 指定语言种类 lang 属性可以指定标签范围内的元素的语言种类。英语lang="en",中文lang="zh"，日文lang="ja"。 一般都会选择指定英文， 乱码原因： 1、不同编码内容混杂：HTML乱码是由于html编码问题照成（常见gb2312与utf-8两种编码内容同时存在照成） 2、未设置HTML编码：<meta ht
用requests爬取内容出现乱码及其解决办法
weixin_44845650的博客
05-15 2417
1、出现乱码情况 2、出现乱码原因 当Requests推测的文本编码与源网页编码 不一致时，会导致乱码问题的出现。 r=requests.get(url,params=payload) print(r.encoding) #查看Requests推测的文本编码 print(r.apparent_encoding) #查看源网页编码 运行结果： ISO-8859-1 utf-8 3、解决方法 r=requests.get(url,params=payload) r.encoding="utf-8" p
react-native 展示后台获取的接口返回的html文本协议内容的几种尝试以及最佳尝试
hzxOnlineOk的博客
11-12 1931
1、使用WebView，展示效果如下（字太小，还需要用户去放大，这种情况只在ios出现，android正常大小，因此我们需要引入一个个scalesPageToFit属性给WebView，即：scalesPageToFit={Platform.OS === 'ios' ? false : true} ） 做好适配后效果如下： WebView代码大致如下（展示主要代码，次要的省略）： ...
爬虫获取网页源代码有乱码怎么解决
最新发布
06-10
爬取网页源代码出现乱码的原因可能是因为网页编码与爬虫的编码不一致，可以尝试以下几种解决方法： 1. 在请求头中添加编码格式 在请求头中添加网页的编码格式，例如： ```python headers = { 'Content-Type': '...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值