requests获取到的网页源码中存在乱码的三个解决方法

最新推荐文章于 2022-08-01 16:59:45 发布
最新推荐文章于 2022-08-01 16:59:45 发布
阅读量1.1k 收藏
点赞数 1
分类专栏： Python 爬虫 文章标签： python requests 字符集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MacwinWin/article/details/107581229
版权
Python 同时被 2 个专栏收录
180 篇文章 1 订阅
订阅专栏
爬虫
16 篇文章 0 订阅
订阅专栏 
>>> res = requests.get(html)
>>> print(res.text)
^&&*!!@#5%#

从html的头部可见使用gbk字符集:

<html>
<head>
	...
	<meta http-equiv="Content-Type" content="text/html; charset=gbk">
	...

方法一:

>>> res.encoding = 'gbk'
>>> print(res.text)

方法二:

>>> res.encoding = res.apparent_encoding
>>> print(res.text)

方法三:

>>> print(res.text.encode('iso-8859-1').decode('gbk')

2020-08-06 更新

某网站使用gbk进行编码
最开始我使用方法二

<!DOCTYPE html>\r\n<html>\r\n<head>\r\n    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">\r\n    <link rel="icon" href="/favicon.ico" type="image/x-icon"/>\r\n    <meta http-equiv="Content-Type" content="text/html; charset=gbk">\n    <title>【深圳-龙华新区影像����工程��_影像����工程��招聘_富士康科技集团CMBU】-前程无忧官方招聘网站</title>\n    <meta name="description" content="深圳-龙华新区影像����工程��富士康科技集团CMBU招聘，前程无忧官方网站，提供最新最全富士康科技集团CMBU招聘职位，以及深圳-龙华新区影像����工程��相关职业信息。帮助您顺利获得深圳-龙华新区影像����工程��的职位，前程无忧招聘网站助您开启崭新职业生涯，找工作上前程无忧！">\n    <meta name="keywords" content="深圳-龙华新区影像����工程��招聘,富士康科技集团CMBU招聘,深圳-龙华新区影像����工程��最新招聘信息">\n

换用方法三后

<!DOCTYPE html>\r\n<html>\r\n<head>\r\n    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">\r\n    <link rel="icon" href="/favicon.ico" type="image/x-icon"/>\r\n    <meta http-equiv="Content-Type" content="text/html; charset=gbk">\n    <title>【深圳-龙华新区影像數據工程師_影像數據工程師招聘_富士康科技集团CMBU】-前程无忧官方招聘网站</title>\n    <meta name="description" content="深圳-龙华新区影像數據工程師富士康科技集团CMBU招聘，前程无忧官方网站，提供最新最全富士康科技集团CMBU招聘职位，以及深圳-龙华新区影像數據工程師相关职业信息。帮助您顺利获得深圳-龙华新区影像數據工程師的职位，前程无忧招聘网站助您开启崭新职业生涯，找工作上前程无忧！">\n    <meta name="keywords" content="深圳-龙华新区影像數據工程師招聘,富士康科技集团CMBU招聘,深圳-龙华新区影像數據工程師最新招聘信息">\n
micromicrofat
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
scrapy 爬取网页源代码是中文乱码
qq_55033799的博客
03-29 324
g2312编码网页 爬取出现中文乱码
HTML头部 （其中详解了meta标签）
m0_62200674的博客
07-05 630
HTML头部包含的标签，重点讲解了meta
关于ie浏览器请求参数乱码问题及解决
qq_39027022的博客
10-23 3495
对于如何处理乱码问题,网上也有好多种方案及原因,但是这里记录的是如何解决在非ie内核浏览器访问正常,在ie内核的浏览器中访问出现请求参数乱码的问题解决, 可以通过encodeURI的形式将请求参数进行转换(encodeURI(encodeURI(中文))),但是此种方案在使用spring架构时,会在项目里配置编码处理,因此依然会出现编码转换不正常的情况,此种访问需要对浏览器进行区分,否则会造成谷
编码乱码,浏览器IE乱码,谷歌正常问题
柳的博客
06-29 4641
最近做项目的时候在谷歌浏览器上测试正常,但在IE上出错.最后发现原来IE中URL有中文时会出现乱码问题,解决方法很简单只要再原来的URL用encodeURI编码下就可以.  encodeURI(url); 再后来查看代码中发现很多之前都写死在程序中,这样都会有问题,servlet中可以获取请求编码方式 request.getCharacterEncoding() 然后再对
解决requests爬取网页源代码出现乱码
qq_41081716的博客
11-24 2480
都在推荐用Requests库，而不是Urllib，但是读取网页的时候中文会出现乱码。 分析：r = requests.get(“http://www.baidu.com“) r.text返回的是Unicode型的数据。使用r.content返回的是bytes型的数据。也就是说，如果你想取文本，可以通过r.text。如果想取图片文件，则可以通过r.content。 比如在下面这种就会出...
python中requests爬去网页内容出现乱码问题解决方法介绍
12-25
最近在学习python爬虫，使用requests的时候遇到了不少的问题，比如说在requests中如何使用cookies进行登录...我们可以通过在网页上右击查看源代码中查看编码方式：content=”text/html;charset=utf-8″-> 我们便可以
Python requests获取网页常用方法解析
09-17
`requests.get()`函数是最基础的网页获取方法，它接收一个URL作为参数，返回一个Response对象。在`Crawler`类中，`_getCookie()`方法展示了如何通过GET请求获取站点的cookie： ```python def _getCookie(self): try...
解决python3中的requests解析中文页面出现乱码问题
09-19
总的来说，解决requests在Python 3中解析中文页面出现乱码问题的关键在于正确设置`response.encoding`属性。在实际开发中，应对不同编码的网页有充分的认识，合理处理编码问题，确保数据的正确解析。在编写爬虫或...
Python使用request.get函数，返回的网页内容为UNCOIDE编码，中文出现乱码解决方案
weixin_44633882的博客
12-07 1508
python使用request.get函数，返回的网页内容为UNCOIDE编码，中文出现乱码解决方案 问题描述： 首先先确定不是使用编辑器和奇怪环境是VS code 自带OUTPUT的锅。。 GET有个网站返回的是UNICODE编码的字节流。 b'{"code": 1, "proxies": [{"https": "110.83.46.180:808", "\\u6700\\u540e\\u9a...
html乱码怎问题
Hling's Blog
07-04 3076
lang=lang> - 指定语言种类 lang 属性可以指定标签范围内的元素的语言种类。英语lang="en",中文lang="zh"，日文lang="ja"。 一般都会选择指定英文， 乱码原因： 1、不同编码内容混杂：HTML乱码是由于html编码问题照成（常见gb2312与utf-8两种编码内容同时存在照成） 2、未设置HTML编码：<meta ht
用requests爬取内容出现乱码及其解决办法
weixin_44845650的博客
05-15 2420
1、出现乱码情况 2、出现乱码原因 当Requests推测的文本编码与源网页编码 不一致时，会导致乱码问题的出现。 r=requests.get(url,params=payload) print(r.encoding) #查看Requests推测的文本编码 print(r.apparent_encoding) #查看源网页编码 运行结果： ISO-8859-1 utf-8 3、解决方法 r=requests.get(url,params=payload) r.encoding="utf-8" p
react-native 展示后台获取的接口返回的html文本协议内容的几种尝试以及最佳尝试
hzxOnlineOk的博客
11-12 1934
1、使用WebView，展示效果如下（字太小，还需要用户去放大，这种情况只在ios出现，android正常大小，因此我们需要引入一个个scalesPageToFit属性给WebView，即：scalesPageToFit={Platform.OS === 'ios' ? false : true} ） 做好适配后效果如下： WebView代码大致如下（展示主要代码，次要的省略）： ...
爬取网站时返回的html是乱码问题解决
西门一刀的博客
08-01 1390
在爬取网站新闻时发现，返回的html代码中中文是乱码
Python爬虫Requests模块中text和content的解码
m0_46397094的博客
04-06 1万+
今天要说一下Requests模块中爬取到网页内容解码方式 response.text和 response.content两者的区别 requests对象的get和post方法都会返回一个Response对象，这个对象里面存的是服务器返回的所有信息，包括响应头，响应状态码等。其中返回的网页部分会存在.content和.text两个对象中 两者区别在于，content中间存的是字节流数据，而te...
爬虫百度的时候，出现的问题
ZRXSLYG的博客
03-06 4408
from tornado.httpclient import HTTPClient client = HTTPClient() response = client.fetch('https://www.baidu.com/') print(response.body) client.close() ''' b'<html>\r\n<head>\r\n\t<sc...
requests.get()爬去中文网页乱码解决方法
weixin_44508756的博客
02-01 5978
requests.get()爬去中文网页乱码解决方法 当我们使用requests.get()爬取百度首页时会发现，返回的html代码中的中文发生乱码。 import requests headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)...
<!doctype html>
jasondu的博客
09-04 249
<!doctype html>是html5标准网页声明，原先的是一串很长的字符串，现在是这个简洁形式，支持html5标准的主流浏览器都认识这个声明。 注意 : <!doctype> 声明必须位于 HTML5 文档中的第一行 VSC 中快速生成快捷键 生成h5 模版 ! + enter 生成 html 模板快捷键 doc + enter ...
html处理\n\t字符
热门推荐
潇蓝诺依的博客
11-16 2万+
vue实现 使用到了vue的v-html，和css的white-space: pre; 代码 &amp;lt;template&amp;gt; &amp;lt;div&amp;gt; &amp;lt;div class='two' v-html=&quot;showMessage()&quot;&amp;gt; &amp;lt;/div&amp;gt; &amp;lt;/div&amp;g
<!DOCTYPE html>
sly94的博客
01-12 402
一作用： 声明文档的解析类型（document.compatMode），避免浏览器的怪异模式 document.compatMode: BackCompat:怪异模式，浏览器使用自己的怪异模式解析渲染页面 CSS1Compat:标准模式，浏览器使用W3C的标准解析渲染页面 这个属性会被浏览器识别并使用，但是如果页面没有DOCTYPE的声明，那么compatMode默认就是Back
爬虫获取网页源代码有乱码怎么解决
最新发布
06-10
爬取网页源代码出现乱码的原因可能是因为网页编码与爬虫的编码不一致，可以尝试以下几种解决方法： 1. 在请求头中添加编码格式 在请求头中添加网页的编码格式，例如： ```python headers = { 'Content-Type': '...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值