使用urllib的urlopen函数获得HTTP Response Headers

最新推荐文章于 2024-05-09 19:02:21 发布
最新推荐文章于 2024-05-09 19:02:21 发布
阅读量6.1k 收藏
点赞数
分类专栏： Python 文章标签： 文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daineng/article/details/6301702
版权

虽然文档里没有说明，但从它的代码中我们可以找到方法。
urllib.urlopen返回的是addinfourl对象，它的info()函数可以返回headers（实际是HTTPMessage对象）。
HTTPMessage提供了getheader()函数（在他的上上个父类中实现的），返回HTTP头中对应的信息。
有以下的例子：
urllib.urlopen('http://www.sina.com.cn').info().getheader('Last-Modified')

 

Allen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何获取url返回的数据
yuanfang0907的博客
06-12 2264
Java 获取url返回数据的两种情况： 1.无需验证的 2.需要用户名密码登录验证的 这里可以分成两步走， 先发post请求，获取token, 然后发get请求，获取数据。 2.1发post请求获取token： //url example: http://xxxxx-login?user=aaaa&pwd=bbbbb public static String sendPost(String url) { PrintWriter out = null; ..
python3 中使用urllib问题以及urllib详解
09-16
response_headers = response.info() ``` `urllib.error`模块用于处理由`urllib.request`引发的异常。比如，我们可以捕获`HTTPError`来处理HTTP请求失败的情况，或捕获`URLError`来处理网络连接问题。 最后，`...
python如何读取配置文件获取url以及hhead_Python:从urllib2.urlopen调用中获取HTTP头？...
weixin_30509193的博客
02-03 291
实际上，urllib2似乎可以执行HTTP HEAD请求。上面@reto链接到的question显示了如何让urllib2执行HEAD请求。我的看法是：import urllib2# Derive from Request class and override get_method to allow a HEAD request.class HeadRequest(urllib2.Request)...
urllib之urlopen和urlretrieve的headers传入以及parse、urlparse、urlsplit的使用
人工智能
02-28 1292
urllib库python的一个最基本的网络请求库，不需要安装任何依赖库就可以导入使用。它可以模拟浏览器想目标服务器发起请求，并可以保存服务器返回的数据。urllib之urlopen和urlretrieve的headers传入以及parse的使用 quote 起因： 在请求的url中，如果有汉字、空格或者特殊字符的时候，浏览器默认会将该字符进行urlencode()的处理，这样就可以正常的访问了！！！
2024年Python最新Python 爬虫：Header 的设置_爬虫headers怎么写，Python经典面试题详解
最新发布
egregw的博客
05-09 966
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Java 网络实例三（获取URL响应头的日期信息、获取URL响应头信息、解析URL、ServerSocket和Socket通信实例）
墨痕诉清风的博客
08-03 524
获取 URL响应头的日期信息 以下实例演示了如何使用 HttpURLConnection 的 httpCon.getDate() 方法来获取 URL响应头的日期信息： import java.net.HttpURLConnection; import java.net.URL; import java.util.Date; public class Main{ public static void main(String args[]) throws Exception {
【获取 URL 响应头信息】
piano_diano的博客
09-07 475
try{ URL url = new URL("http://www.runoob.com"); URLConnection conn = url.openConnection(); Map headers = conn.getHeaderFields(); Set<String> keys = headers.keySet(); for( Strin...
Scrapy学习笔记-基本库的使用urllib
12-21
首先，`urllib.request`模块提供了`urlopen()`函数，这个函数可以用来发送HTTP请求并获取响应。当我们需要发送一个简单的GET请求时，可以这样使用： ```python import urllib.request response = urllib.request....
详解Python3网络爬虫(二)：利用urllib.urlopen向有道翻译发送数据获得翻译结果
09-19
在本篇内容中，我们将深入学习如何利用`urllib.urlopen`来实现这个功能，特别是针对有道翻译API的使用。 首先，我们要理解`urlopen`的两个关键参数：`url`和`data`。 1. **urlopen的url参数** `url`参数通常接收...
Python3学习urllib的使用方法示例
09-21
本篇文章将重点介绍 `urllib.request` 模块中的 `urlopen` 方法以及如何使用 `Request` 类来进行更复杂的HTTP请求。 1. `urlopen()` 基本用法 `urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None...
python urllib爬虫模块使用解析
09-18
- **urllib.request.urlopen()**：这是最基础的请求函数，用于向指定URL发起请求并获取响应。例如： ```python from urllib import request url = 'http://www.baidu.com/' response = request.urlopen(url) ...
Python网络爬虫之urllib2修改Header
一个人的夏天
03-13 846
python爬虫库urllib2修改Header
urllib库添加headers的一般方法
Python热爱者的博客
09-19 2882
对于请求一些网站，我们需要加上请求头才可以完成网页的抓取，不然会得到一些错误，无法返回抓取的网页。下面，介绍两种添加请求头的方法。 方法一：借助build_opener和addheaders完成 import urllib.request url="http://www.meizitu.com" #注意：在urllib 中headers是元组 headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTM
python网络爬虫学习笔记（三）：urllib库的使用
逐梦er的博客
09-23 728
文章目录使用urllib库1.urllib.request.urlopen()函数urlopen()函数API：2.urllib.request函数验证Cookies保存Cookies读取Cookies 使用urllib库 首先，了解一下urllib库，它是Python内置的HTTP请求库，也就是说不需要额外安装即可使用。它包含如下4个模块。 request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程
urllib库进行网络请求后返回的HTTPResponse对象的用法总结
Money多多
12-19 1万+
不管是使用urllib.request.urlopen()方法，还是使用opener.open()方法，都返回同样类型的HTTPResponse对象，用法总结如下: # !/usr/bin/env python # -*- coding:utf-8 -*- from urllib import request from urllib import response URL="http://w
Urllib库的详解（urlopen，response，request，Headler，异常处理，URL解析）
不思量
10-15 1万+
简介 Urllib是Python内置的HTTP请求库。它包含四个模块： urllib.request ：请求模块 urllib.error ：异常处理模块 urllib.parse url ： 解析模块 urllib.robotparser ：robots.txt解析模块，用的比较少 相比Python2变化： Python2: import u...
Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
Malik的博客
09-27 3924
python3 抓取网页资源的 N 种方法 1、最简单 import urllib.request response = urllib.request.urlopen('http://python.org/') html = response.read() 2、使用 Request import urllib.request req = urllib.reques
[原创] Python 仅获取响应头, 不获取实体
张志鹏的博客
10-13 1万+
Python Just get Response Headers, not get content.1. Use HEAD method>>> import requests >>> res = requests.head("http://www.baidu.com/") >>> req.head("https://www.baidu.com/").headers {'Content-Encodin
Response的Header属性详解
热门推荐
小仙~
11-06 4万+
版权声明：本文为博主原创文章，无需授权即可转载，甚至无需保留以上版权声明，转载时请务必注明作者。 https://blog.csdn.net/weixin_43453386/article/details/83659467 Response的Header属性详解一、Header属性二、Header属性分类1、通用信息头2、请求头3、响应头4、实体头5、扩展头三、Response设置Header属性...
python3中urlopen_详解python3urllib中urlopen报错的解决方法
05-23
response = urllib.request.urlopen(req) ``` 4. 添加超时时间：如果请求时间过长，那么`urlopen`函数也会报错。你可以通过在`urlopen`函数中添加timeout参数来设置超时时间。示例代码如下： ```python import ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值