获取urllib2.urlopen失败时的错误页面

最新推荐文章于 2022-10-09 21:54:06 发布

LegenDavid

最新推荐文章于 2022-10-09 21:54:06 发布

阅读量800

点赞数

分类专栏：语言相关系统相关

语言相关同时被 2 个专栏收录

91 篇文章 0 订阅

订阅专栏

系统相关

90 篇文章 1 订阅

订阅专栏

错误方法：

[python] view plain copy

import urllib2
req = urllib2.Request('http://127.0.0.1/longerrorpage')
try:
response=urllib2.urlopen(req)
except Exception,e:
print e, response.read()

[python] view plain copy

HTTP Error 404: Not Found

正确方法：

[python] view plain copy

import urllib2
req = urllib2.Request('http://127.0.0.1/longerrorpage')
try:
response=urllib2.urlopen(req)
except urllib2.HTTPError,e:
print e.code
print e.reason
print e.geturl()
print e.read()

[html] view plain copy

404
Not Found
http://127.0.0.1/longerrorpage
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>404 Not Found</title>
</head><body>
<h1>Not Found</h1>
<p>The requested URL /longerrorpage was not found on this server.</p>
<hr>
<address>Apache/2.2.22 (Ubuntu) Server at 127.0.0.1 Port 80</address>
</body></html>

参考：http://stackoverflow.com/questions/2233687/overriding-urllib2-httperror-and-reading-response-html-anyway

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

LegenDavid

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

解决Python报错：URLError: ＜urlopen error [Errno 11004] getaddrinfo failed＞

FarryNiu的博客

08-09

3万+

原因获取地址信息失败，通常是由于自动选择的DNS服务器不行解决方法更换DNS服务器控制面板（win+R+control） -> 网络和Internet 2. 打开网络共享中心 3. 打开当前连接的网络，以wifi为例 4. 打开属性 5. 打开Internet协议版本4 6. 选择使用特定DNS服务器地址，并设置为114.114.114.114 8. 设置完成后，错误解决 ......

Python3 模块1之 Urllib之 urllib.request

独化蓝翅鸟，越岭万昆仑

01-24

3143

什么是 Urllib 库？ urllib 库是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口，使访问 www 和 ftp 上的数据就像访问本地文件一样。有以下几种模块： 1.urllib.request 请求模块 2. urllib.error 异常处理模块 3. urllib.parse url 解析模块 4. urllib.robotp

参与评论您还未登录，请先登录后发表或查看评论

10月9日学习：urlopen报错处理

weixin_56743176的博客

10-09

646

在用urlopen打开佛山政府网站时出错，后找到了处理方法，调整前后如下。

Python基础系列讲解——try_except异常处理机制

weixin_30469895的博客

09-16

225

在Python编程中不可避免的会出现错误，在调试阶段出现语法之类的错误时，Pycharm会在Debug窗口提示错误，但是程序在运行时由于内部隐含的问题而引起错误，会导致程序终止执行。比如以下例程中，使用urllib库打开URL时由于网络问题而发生了错误： import urllib.request req = urllib.request.urlopen('http://www....

python urlopen 超时_在Python的urllib2 urlopen中检测超时错误

weixin_40008870的博客

12-16

294

我对Python还是比较陌生,因此,如果这是一个明显的问题,我深表歉意.我的问题是关于urllib2库,它是urlopen函数.目前,我正在使用它从另一台服务器(它们都在同一远程主机上)加载大量页面,但是该脚本有时会因超时错误而被终止(我认为这是来自大型请求).有没有办法让脚本在超时后保持运行？我希望能够提取所有页面,所以我想要一个脚本,该脚本将一直尝试直到获取页面,然后继续前进.顺便说一句,保持...

爬虫urllib库的基本使用——学习笔记

qq_46684694的博客

01-31

987

一、使用urllib urllib库的四大模块： urllib.request：最基本的HTTP请求模块，可以用来模拟请求 urllib.error：异常处理模块 urllib.parse：一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等 urllib.robotparser：用来识别网站的robots.txt文件（1）发送请求 1、urlopen() import urllib.request response = urlib.request.urlopen("https://www

【转载】爬虫篇：获取数据——urllib库的基础知识（总结）

weixin_40458518的博客

04-16

1878

注：本文章大部分代码的案例节选于《Python3网络爬虫开发实战（第2版）》。一、发出请求 1、urlopen方法 # Python版本：3.6 # -*- coding:utf-8 -*- """ urlopen()方法的API: urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None) """ import urllib.request response

Python3 模块2之 Urllib之 urllib.error

独化蓝翅鸟，越岭万昆仑

01-24

2449

紧接上一篇：Python3模块1之Urllib之 urllib.request urllib.error urllib.error模块定义由urllib.request引发的异常类。URLError 为基本的异常类。异常处理主要用到两个类，urllib.error.URLError和 urllib.error.HTTPError 。一. URLError URLErro

python3 中使用 urllib 问题以及 urllib 详解

Wollens Blogs

07-20

3423

python3 中使用 urllib 问题今天遇到一个蛮奇怪的问题：当我在控制台中使用 urllib 没问题，但是当我在 vscode 中 .py 文件中导入 urllib 使用时会报错： AttributeError: module 'urllib' has no attribute 'request' 查了一下资料是 python3 的 urllib 不会自动导入其under层的包，需要手动导入。 import urllib import urllib.parse import urllib.requ

urllib.request.urlopen(req).read().decode解析http报文报“utf-8 codec can not decode”错处理

老猿Python

09-09

6203

老猿前期执行如下代码时报“‘utf-8’ codec can’t decode byte”错，代码及错误信息如下： >>> import urllib.request >>> def mkhead(): header = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,im...

urllib2.urlopen(url).read() vs requests.get(url).content

tree_legend______搬运工的IT

11-18

5138

这两天谢了一个小爬虫，很

python3中urlopen报错问题

LieberVater的博客

08-17

1272

最近开始学习python爬虫的东西，看了网上的教程，python2和python3的版本都有，找着示例的代码敲有时候就会报错，可以看到python3相比于python2还是在语法改变了一些，下面是一个简单示例的修改 import urllib page = urllib.urlopen('http://www.baidu.com')#打开网页 htmlcode = page.read()...

python urllib2.urlopen()_python – 为urllib2.urlopen()遇到麻烦引发异常

weixin_33894125的博客

01-14

574

我正在使用以下代码,我无法弄清楚为什么当urlopen()失败时它不会引发异常.在我的特殊情况下,我知道为什么它失败..我的网址没有http：//在他们面前…但我想抓住这些情况,以便脚本可以继续运行我的代码而不是退出.req = urllib2.Request(link)try:url = urllib2.urlopen(req)except urllib2.URLError, e:print e...

python web.py 404_urllib2.HTTPError：HTTP错误404：未找到

weixin_39584529的博客

12-21

769

My Error Message when running my python scripts using a raspberry piTraceback (most recent call last):>Traceback (most recent call last):File "test.py", line 6, in (module)import appengineauthFile ...

Python中的异常处理和try，except的用法