python爬虫基础-response响应头

已于 2023-03-24 22:16:33 修改
阅读量1.8k 收藏 4
点赞数
分类专栏： # 爬虫 文章标签： 爬虫 服务器 运维
于 2022-08-06 19:18:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonuser1/article/details/126199695
版权
本文详细介绍了HTTP响应头中的关键参数，如Allow、Content-Encoding、Content-Length等，以及它们的作用。同时，解释了响应体的属性，包括url、text、encoding、content、json、status_code、headers、cookies和history。此外，列举了常见的HTTP响应状态码及其含义，帮助读者深入理解HTTP交互过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

响应头

常见的响应头参数
  1. Allow：对某网络资源的有效的请求行为，不允许则返回405
  2. Content-Encoding：web服务器支持的返回内容压缩编码类型。
  3. Content-Length：响应体的长度
  4. Content-Type：返回内容的MIME类型
  5. Date：原始服务器消息发出的时间
  6. Expires：响应过期的日期和时间
  7. Last-Modified：请求资源的最后修改时间
  8. Set-Cookie：设置Http Cookie
响应数据
  1. text文本数据
  2. content二进制数据
  3. json字典数据
响应体属性
  1. url：返回值的url
  2. text：响应的文本信息
  3. encoding：返回值的解码格式
  4. apparent_encoding:reuqests：模块自动检测返回值信息,给你返回一个合适的解码格式
  5. content：获得响应体的二进制,主要一般用于音频文件,视频文件等等用于二进制保存
  6. json：其本质json.loads(response.text)
  7. status_code：响应体的状态码
  8. headers：响应体的请求头
  9. cookies：响应体的cookie
    10.history： 响应体的历史,这个这样理解,比如你访问一个网站http://url他其实会重定向https://url或者http://new_url 他会留下他重定向之前的url并且以一个列表套对象的格式给你返回值
常见响应状态码

100 继续
101 切换协议
200 OK，客户端请求已成功
201 已创建
202 已接受
203 非权威性信息
204 无内容
205 重置内容
206 部分数据请求成功
302 对象已转移
304 未修改
307 临时重定向
400 错误的请求
401 访问被拒绝
403 禁止访问
404 未找到
405 用来访问本页面的 HTTP 谓词不被允许（方法不被允许）
406 客户端浏览器不接受所请求页面的 MIME 类型
407 要求进行代理身份验证
500 内部服务器错误
501 页眉值指定了未实现的配置
502 Web 服务器用作网关或代理服务器时收到了无效响应
503 f服务不可用。这个错误代码为 IIS 6.0 所专用
504 网关超时
505 HTTP 版本不受支持

python 获取响应头
zhaoyangjian724的专栏
11-08 1750
# !/usr/bin/env python # -*- coding: utf-8 -*- import urllib2 import urllib import cookielib import json import httplib import re import requests from lxml import etree import StringIO s = requests....
python爬虫-----深入了解 requests 库（第二十五天）
喔的嘛呀的博客
04-19 1526
🎈🎈作者主页：🎈🎈🎈🎈✨✨在学习 Python 爬虫的第二十五天，你将进一步深入了解 requests库，这是一个在爬虫开发中非常重要的工具。requests库提供了简单而强大的接口，使得发送 HTTP 请求和处理响应变得十分容易。在这一阶段，我们会学习到如何更有效地使用 requests库，处理复杂的请求和响应，以及处理各种网络情况下的异常。我总结了十四个知识点，今天我们先来看前七个。
Python——爬虫之网页请求HTTP响应头和HTTP请求头——六月十八
qq_59344127的博客
06-18 1678
这是一个HTTP响应头和请求头的示例，提供了有关服务器响应的详细信息。
Python 解析 HTTP 响应头信息
最新发布
2501_91228528的博客
03-29 340
HTTP响应头是服务器发送给客户端的一系列键值对，用于描述响应的内容和元数据。例如，它可能包含内容类型（Content-Type）、内容长度（Content-Length）、缓存策略（Cache-Control）等信息。这些头信息对于理解服务器返回的数据以及如何正确处理它们至关重要。Python的`requests`库提供了一个简单而强大的接口来解析HTTP响应头。无论你是需要全面了解所有的头信息，还是仅仅关注某几个关键的头字段，都可以轻松实现。
python构造响应头_python 获取响应头
weixin_32866237的博客
01-14 931
# !/usr/bin/env python# -*- coding: utf-8 -*-import urllib2import urllibimport cookielibimport jsonimport httplibimport reimport requestsfrom lxml import etreeimport StringIOs = requests.session()prin...
python requests请求获得response返回的header信息
darling331的博客
07-28 7009
header = { 'Content-Type': 'application/json;charset=UTF-8' } body = {'un': 'dafdas', 'pw': 'fasdasfa'} response = requests.post('http://www.safa.com/dasafaag.aspx?Method=login', ...
随笔——python截取http请求报文响应头
sandikast的专栏
05-29 9837
import urllib2 import urllib from types import * import hashlib req = urllib2.Request('http://script2.iscc.org.cn/web07_e3a95260b7271954aa59460c134cde7e/') req.add_header('User-Agent', 'Mozilla/5.0 (
python爬虫资源 - 免费下载
03-20
3. 解析响应：使用 `response.read()` 函数来读取响应内容，并使用 `decode()` 函数来解码响应内容。 BeautifulSoup 库的使用 BeautifulSoup 库是 Python 中最 popular 的 HTML 解析库，提供了简洁且强大的 API 来...
python爬虫案例-30-定义私有属性和方法.ev4.rar
12-23
在这个"python爬虫案例-30-定义私有属性和方法"中，我们将深入理解如何在Python爬虫开发中应用这一技巧。 首先，我们来解释一下私有属性（private attributes）和私有方法（private methods）。在Python中，虽然...
Python爬虫库requests获取响应内容、响应状态码、响应头
09-18
### Python爬虫库requests获取响应内容、响应状态码、响应头 #### 一、获取不同类型的响应内容 在使用Python的requests库进行网络爬虫开发时，获取响应内容是核心功能之一。根据响应数据的不同类型，requests提供...
Python编程基础-第14章-网络爬虫
06-15
- 获取响应内容：`response.text` 或 `response.content` - 检查状态码：`response.status_code` #### 14.4 定制requests - **定制请求头**：设置User-Agent、Cookie等头部信息。 - **设置超时时间**：`requests....
python scrapy request_Python爬虫Scrapy(七)_Request_Response
weixin_34145418的博客
01-28 260
本章将介绍Request与Response,更多内容请参考：Python学习指南RequestRequest源码：# 部分代码class Request(object_ref):def __init__(self, url, callback=None, method='GET', headers=None, body=None,cookies=None, meta=None, encoding=...
python+requests——检查响应头是否存在
小白龙白龙马的博客
02-23 333
import requests resp = requests.get('http://httpbin.org/get') print(type(resp.headers)) print(resp.headers['Content-Type']) actual_headers = {} for k,v in resp.headers.items(): #把响应...
Python处理HTTP响应头
weixin_73725158的博客
06-07 590
库，我们可以轻松地发送HTTP请求并获取HTTP响应头。响应头包含了关于服务器响应的重要信息，通过处理这些信息，我们可以更好地理解服务器的行为、处理响应数据以及调试网络问题。在处理HTTP响应头时，我们可以根据需要获取特定的响应头，并进行相应的处理。在Python中，处理HTTP响应头是网络通信编程中非常关键的一部分。HTTP响应头包含了服务器对客户端请求的响应信息，如状态码、内容类型、内容长度等。在实际应用中，我们可能只对某些特定的HTTP响应头感兴趣。在上面的代码中，我们首先使用。
pythonrequests响应结构_python+requests——检查响应头是否存在
weixin_39957271的博客
12-04 276
importrequestsresp= requests.get(‘http://httpbin.org/get‘)print(type(resp.headers))print(resp.headers[‘Content-Type‘])actual_headers={}for k,v in resp.headers.items(): #把响应头转为小写actual_headers...
python urlopen_如何使用Python urlopen()获取HTTP响应标头
weixin_36184307的博客
12-29 635
在这段代码中from bs4 import BeautifulSoupimport urllib2import rehtml_page = urllib2.urlopen("http://fr.wikipedia.org/wiki/Alan_Turing")soup = BeautifulSoup(html_page, "lxml")print soup我可以返回源代码.但是,请问如何拥有HTTP...
Python爬虫基础讲解（五）：响应
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
05-13 780
Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 Python学习交流群：1039649593 1. HTTP响应报文 HTTP响应报文也由三部分组成：响应行、响应头、响应体 响应行 响应行一般由协议版本、状态码及其描述组成比如HTTP/1.1 200 OK 其中协议版本HTTP/1.1或者HTTP/1.0，200就是它的状态码，OK则为它的描述。 响应头 响应头用于描述服务器的基本信息，以及数据
python中获取请求头和响应头
nember_1的博客
08-27 4801
响应头：Recharge_res.headers 请求头：Recharge_res.request.headers
python爬虫设置请求头headers，附答案
AUZKAY的博客
03-22 1455
Win64;url = ‘https://www.baidu.com/’ # 以访问百度为例response = requests.get(url, headers=headers) # 在这里传入请求头。
python爬虫User-Agent池
04-24
Python爬虫User-Agent池是一种用于模拟浏览器请求的技术，通过随机选择不同的User-Agent头部信息，来伪装成不同的浏览器进行网络请求，以避免被网站识别为爬虫而被封禁或限制访问。 在Python中，可以使用第三方库如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值