获取网页编码方式apparent_encoding(自动识别网页编码)

使用爬虫的时候,时常被编码问题困扰,可以通过打开检查,查看网页的源代码

打开head标签,能看到苹果网页是用utf-8编码格式  

              20f2f5be7d2953264396ae5c3677b675.png

电影天堂的编码是gb2312

 

        假如说,我爬取电影天堂网页的时候,没去关心它是什么编码的,就习惯写成编码'utf-8'

但因为这个网页不是用utf-8编码的,所以爬取时就会出现乱码

import requests

url = 'https://www.dytt8.net/index.htm'

res = requests.get(url)

res.encoding = 'utf-8'

print(res.text)

        这时候,第一时间就是想到去网页,看看这个网页是用什么标准编码的

但还有一个方法,就是可以通过res.apparent_encoding查看是用什么标准编码的

import requests

url = 'https://www.dytt8.net/index.htm'

res = requests.get(url)

print(res.apparent_encoding)

       

可以看到电影天堂网页,是GB2312编码的

但是,并没必要把GB2312写去encoding那

我可以把请求的编码设置为原网页的编码(留意下方代码第四行)

import requests

url = 'https://www.dytt8.net/index.htm'

res = requests.get(url)

res.encoding = res.apparent_encoding

print(res.text)


 

这下,就能正确显示中文了

所以这也是为什么爬虫里大多数会写 

res.encoding = res.apparent_encoding

就不用考虑网页文字编码的问题了

本文转载自以下链接:网页编码_Python获取网页编码(apparent_encoding)_Jay星晴的博客-CSDN博客

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值