爬虫中 Requests获取网页遇到问题的详解（￥51）

最新推荐文章于 2023-01-14 12:34:00 发布

铁粉_漏鱼的网

最新推荐文章于 2023-01-14 12:34:00 发布

阅读量590

点赞数

分类专栏： python爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_43721133/article/details/89066325

版权

本文详细探讨了使用Requests库在爬虫过程中遇到的网页获取问题，重点在于Requests如何处理Accept-Encoding及内容解压。通过对比两种方式，解释了为何content.read()能正确显示内容，并说明了Requests通过HTTP头部和chardet.detect来猜测并解码响应的编码方式，建议使用response.content.decode()进行解码。

摘要由CSDN通过智能技术生成

#使用Requests获取新浪首页（两种对比）

import  requests
response = requests.get("http://www.sina.com")
print(response.request.headers)
print(response.content.decode())

结果：

{'User-Agent': 'python-requests/2.12.4', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
<!DOCTYPE html>
<!-- [ published at 2017-06-09 15:15:23 ] -->
<html>
<head>
    <meta http-equiv="Content-type" content="text/html; charset=utf-8" />
    <meta http-equiv="X-UA-Compatible" content="IE=edge" />
    <title>新浪首页</title>
    <meta name="keywords" content="新浪,新浪网,SINA,sina,sina.com.cn,新浪首页,门户,资讯" />
  ...

import  requests
response = requests.get("http://www.sina.com")
print(response.r

最低0.47元/天解锁文章

铁粉_漏鱼的网

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
爬虫中 Requests获取网页遇到问题的详解（￥51）

#使用Requests获取新浪首页（两种对比）import requestsresponse = requests.get("http://www.sina.com")print(response.request.headers)print(response.content.decode())结果：{'User-Agent': 'python-requests/2.12.4', '...
复制链接

扫一扫

专栏目录