使用urllib的urlopen函数获得HTTP Response Headers

最新推荐文章于 2024-08-20 17:35:48 发布

Allen

最新推荐文章于 2024-08-20 17:35:48 发布

阅读量6.1k

点赞数

分类专栏： Python 文章标签：文档

本文链接：https://blog.csdn.net/daineng/article/details/6301702

版权

Python 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

虽然文档里没有说明，但从它的代码中我们可以找到方法。

urllib.urlopen返回的是addinfourl对象，它的info()函数可以返回headers（实际是HTTPMessage对象）。

HTTPMessage提供了getheader()函数（在他的上上个父类中实现的），返回HTTP头中对应的信息。

有以下的例子：

urllib.urlopen('http://www.sina.com.cn').info().getheader('Last-Modified')

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Allen

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

如何获取url返回的数据

yuanfang0907的博客

06-12

2292

Java 获取url返回数据的两种情况： 1.无需验证的 2.需要用户名密码登录验证的这里可以分成两步走，先发post请求，获取token, 然后发get请求，获取数据。 2.1发post请求获取token： //url example: http://xxxxx-login?user=aaaa&pwd=bbbbb public static String sendPost(String url) { PrintWriter out = null; ..

urllib2 urlopen的post与get

qq_44910432的博客

04-13

3412

urllib2 urlopen的post与get

参与评论您还未登录，请先登录后发表或查看评论

【Python3 爬虫】02_利用urllib.urlopen向百度翻译发送数据并返回结果

ajsyipsc40270的博客

03-22

279

上一节进行了网页的简单抓取,接下来我们详细的了解一下两个重要的参数url与data urlopen详解 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None URL参数 Open the URL url, which can be either a string or a...

DeprecationWarning: HTTPResponse.getheader() is deprecated and will be removed in urllib3 v2.1.0. In

最新发布

xiaoshandong87的专栏

08-20

319

弃用警告:HTTPResponse. getheader()已弃用--处理

urllib之urlopen和urlretrieve的headers传入以及parse、urlparse、urlsplit的使用

人工智能

02-28

1340

urllib库python的一个最基本的网络请求库，不需要安装任何依赖库就可以导入使用。它可以模拟浏览器想目标服务器发起请求，并可以保存服务器返回的数据。urllib之urlopen和urlretrieve的headers传入以及parse的使用 quote 起因：在请求的url中，如果有汉字、空格或者特殊字符的时候，浏览器默认会将该字符进行urlencode()的处理，这样就可以正常的访问了！！！

【获取 URL 响应头信息】

piano_diano的博客

09-07

488

try{ URL url = new URL("http://www.runoob.com"); URLConnection conn = url.openConnection(); Map headers = conn.getHeaderFields(); Set<String> keys = headers.keySet(); for( Strin...

Python网络爬虫之urllib2修改Header

一个人的夏天

03-13

898

python爬虫库urllib2修改Header

python3 中使用urllib问题以及urllib详解

09-16

response_headers = response.info() ``` `urllib.error`模块用于处理由`urllib.request`引发的异常。比如，我们可以捕获`HTTPError`来处理HTTP请求失败的情况，或捕获`URLError`来处理网络连接问题。最后，`...

Python中使用urllib2模块编写爬虫的简单上手示例

09-21

response = urllib2.urlopen('http://www.baidu.com/') html = response.read() print(html) ``` 2. **使用Request对象**： ```python import urllib2 req = urllib2.Request('http://www.baidu.com') ...

爬虫库Urllib（urllib.request.Request与urllib.request.urlopen）

qq_35194427的博客

07-27

2463

Python3中-爬虫库Urllib概述urllib.request1. urllib.request.Request2. urllib.request.urlopen3. urllib.request.urlopen和urllib.request.Request实例演示概述问：Urllib能做什么？答：常用在爬虫开发、API(应用程序编程接口)数据获取、测试；问：Urllib需要安装吗？答：Python自带的标准库，直接引用（import）即可；问： Urllib、Urllib2和Urlli

SOAPUI 利用Groovy脚本串连登录请求——将response的header和body传递给下一个请求

u012387575的专栏

01-25

1244

SOAPUI 实现一键化 SOAP 登录测试soap接口需要先登录，但登录加密过程复杂，难道必须手动发送多次请求并拷贝最终的cookie到待测请求的header？只要你敢想，就没什么做不到的。笔者就因为太懒，Google一下，果然 Groovy 脚本可以帮我们实现自动化流程，无需亲自动手 1. 在Header中传递 Cookie 用例步骤截图：关键setSKCookie ...

Java 网络实例三（获取URL响应头的日期信息、获取URL响应头信息、解析URL、ServerSocket和Socket通信实例）

墨痕诉清风的博客

08-03

546

获取 URL响应头的日期信息以下实例演示了如何使用 HttpURLConnection 的 httpCon.getDate() 方法来获取 URL响应头的日期信息： import java.net.HttpURLConnection; import java.net.URL; import java.util.Date; public class Main{ public static void main(String args[]) throws Exception {

Python爬虫（二）——urllib库，Post与Get数据传送区别，设置Headers，urlopen方法，简单爬虫

浅然的专栏

10-23

7929

一、urllib2概念 urllib2是一个Python模块,可以用来获取URL资源(fetching URLs)，它定义了函数和类，用以协助URL操作（actions），如基本身份验证和摘要式身份验证（basic and digest authentication）、重定向、cookies等二、urllib2和urllib区别两个模块都是完成URL的请求，但还是有所区别1、urllin2可以

python网络爬虫学习笔记（三）：urllib库的使用

逐梦er的博客

09-23

749

文章目录使用urllib库1.urllib.request.urlopen()函数urlopen()函数API：2.urllib.request函数验证Cookies保存Cookies读取Cookies 使用urllib库首先，了解一下urllib库，它是Python内置的HTTP请求库，也就是说不需要额外安装即可使用。它包含如下4个模块。 request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程

python，爬虫遇到重定向页面，如何获取动向后地址的response headers里的内容？

曲江涛的博客

05-17

1627

在Python中使用爬虫处理重定向页面时，您可以使用requests库来获取重定向后地址的响应头信息。requests库提供了一个参数，可以控制是否允许重定向。当设置时，requests库将自动处理重定向，并返回最终重定向后的响应。

python如何读取配置文件获取url以及hhead_Python:从urllib2.urlopen调用中获取HTTP头？...

weixin_30509193的博客

02-03

301

实际上，urllib2似乎可以执行HTTP HEAD请求。上面@reto链接到的question显示了如何让urllib2执行HEAD请求。我的看法是：import urllib2# Derive from Request class and override get_method to allow a HEAD request.class HeadRequest(urllib2.Request)...

python爬虫urllib3模块详解，2024吊打面试官系列

m0_56175058的博客

03-20

1105

可通过获取响应头信息。import urllib3 # 导入urllib3模块urllib3.disable_warnings() # 关闭ssl警告url = ‘https://www.httpbin.org/get’ # get请求测试地址http = urllib3.PoolManager() # 创建连接池管理对象。

urllib库添加headers的一般方法

Python热爱者的博客

09-19

2969

对于请求一些网站，我们需要加上请求头才可以完成网页的抓取，不然会得到一些错误，无法返回抓取的网页。下面，介绍两种添加请求头的方法。方法一：借助build_opener和addheaders完成 import urllib.request url="http://www.meizitu.com" #注意：在urllib 中headers是元组 headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTM

Python3网络爬虫进阶：使用urllib.urlopen与有道翻译API交互

"这篇教程是Python3网络爬虫系列的第二部分，主要讲解如何利用urllib库中的urlopen函数向有道翻译发送数据并获取翻译结果。内容涵盖了urlopen的url参数，特别是如何使用Request对象，以及urlopen返回对象的一些基本...