python爬虫——URLError和HTTPError

最新推荐文章于 2022-04-01 00:59:28 发布

独听钟声晚

最新推荐文章于 2022-04-01 00:59:28 发布

阅读量448

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/weixin_44321116/article/details/103642696

版权

本文探讨了Python爬虫中遇到的URLError及其原因，包括无网络连接、服务器连接失败和找不到服务器等问题。同时介绍了HTTPError，它是URLError的一个子类。在处理这些错误时，需要注意HTTPError的捕获应优先于URLError。

摘要由CSDN通过智能技术生成

一.出现URLError的原因

（1）没有网
（2）服务器连接失败
（3）找不到指定的服务器
模拟URLError

import urllib.request
import urllib.parse
import urllib.error

url='http://www.maodan.com/' # 此url未被注册
try:
    response = urllib.request.urlopen(url)

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

独听钟声晚

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

爬虫request模块异常处理

实践求真知

01-07

4165

一 URLError 1 代码 ''' URLError类来自urllib库的error模块，它继承自OSError类，是error异常模块的基类，由request模块生的异常都可以通过捕获URLError类来处理。它具有一个属性reason，即返回错误的原因。 ''' from urllib import request, error try: response = requ...

python爬虫——链接爬虫

weixin_45890771的博客

10-06

1015

1、原理介绍 2、代码实现 3、总结 4、结果展示 1、原理介绍跟踪网页中的链接，利用正则表达式只访问感兴趣的内容。其实就是获取起始页面中的所有链接，通过正则表达式过滤出我们感兴趣的链接访问，再新打开的页面中再做同样的事情，从而追踪下去。通过跟踪每个链接的方式，能够很容易地下载整个网站的页面。但是，这种方法可能会下载很多并不需要的网页。例如，当我们从一个在线论坛抓取用户账号的详细页，那么此时我们只需要下载下载账号页，而不需要下载讨论贴的页面。（本节使用的链接爬虫将使用正则表达式来确定应当下载

参与评论您还未登录，请先登录后发表或查看评论

python爬虫HTTPError 和 AttributeError错误及改进措施

12-21

爬虫的时候很容易发生错误，为了避免因为某几个网页错误影响所有网页的爬取，在代码中加入错误检测机制是很有必要的 HTTPError html = urlopen("http://www.pythonscraping.com/pages/page1.html") 运行以上代码主要会发生两种异常：网页在服务器上不存在（或者获取页面的时候出现错误）服务器不存在这两种错误，urlopen都会抛出HTTPError异常。可以用以下方式处理： try: html = urlopen("http://www.pythonscraping.com/pages/page1.html") except H

python学习笔记 ---- 关于URLError和HTTPError

Hello World

08-22

1万+

当urlopen不能处理服务器的响应时，会抛出URLError异常。 HTTPError是URLError的子类，它抛出的异常是更为具体地指向HTTP URLs. URLError 通常，URLError之所以会抛出异常，有可能因为没有网络连接（即没有连接到指定的服务器），或者是指定的服务器不存在。在这种情况下，异常的抛出带有一个‘reason’的属性，这是一个tuple

php parse url 反向,PHP中一个parse_url的错误用法

weixin_28982257的博客

03-19

174

parse_url(PHP 3, PHP 4, PHP 5)parse_url — 解析 URL，返回其组成部分描述array parse_url ( string url )此函数返回一个关联数组，包含现有 URL 的各种组成部分。如果缺少了其中的某一个，则不会为这个组成部分创建数组项。组成部分为：scheme – 如 httphostportuserpasspathquery – 在问号 ? ...

关于爬虫的Error：URLError，HTTPError

weixin_42166745的博客

02-13

294

作者学的课程：https://www.bilibili.com/video/av33963847 import urllib.request import urllib.parse import urllib.error ''' URLError: 1.没有网 2.服务器连接失败 3.找不到指定的服务器 HTTPError：是URLError的子类 ''' url = 'htt...

Python爬虫——爬取豆瓣电影Top250代码实例

09-19

### Python爬虫——爬取豆瓣电影Top250代码实例 #### 一、项目背景与目标本项目旨在使用Python语言实现对豆瓣电影Top250榜单数据的爬取，并将爬取到的数据存储到Excel表格中。通过本项目的实践，可以加深对Python...

【python】【爬虫】URLError与HTTPError

BananaChoas的博客

06-12

288

两个都是urllib.error模块下处理异常的类。HTTPError是URLError的子类，有异常状态码和异常原因。经过处理的URLError可以代替HTTPError。 URLError不被触发的情况连不上服务器或没有网络不存在该URL 触发了HTTPError 处理的URLError import urllib.request import urllib.error #异常处理的try-except try: urllib.erquest.urlopen("http:/

python爬虫之httperror与urlerror

韩韩的博客

07-29

1769

httperror:当我们向服务器发出请求时，服务器会产生response请求，如果urlopen不能处理则爆出httperror异常 httperror的父类是urlerror异常 urlerror:产生的原因主要是1.网络没有连接，2服务器连接失败，3，找不到指定的服务器。我认为：httperror时urlerror的详细化的错误异常，url只能粗略的判断异常的原因，而httper...

python爬虫——下载网页

weixin_45890771的博客

09-21

1008

1、捕获异常 2、重试下载 3、设置用户代理 4、 HTTP 状态码的完整列表。 1、捕获异常抓取网页前，需要将其下载下来。使用Python的urllib模块下载URL。当传入URL参数时，该函数将会下载网页返回其HTML。我们经常会遇到一些无法控制错误，urllib会抛出异常，然后退出脚本。使用try--except，捕获异常，并返回None import urllib.request from urllib.error import URLError,HTTPError

爬虫报错： ‘raise HTTPError(req.full_url, code, msg, hdrs, fp) ’ HTTPError

m0_56255158的博客

04-01

4106

爬虫报错： 'raise HTTPError(req.full_url, code, msg, hdrs, fp) ’ HTTPError 报错原因：网站存在反爬虫机制，爬虫未进行UA封装，拒绝了爬虫请求。解决方法：将原先的urlopen(‘https://movie.douba...

python爬虫：常见HTTPError异常

cmsu65438的博客

02-11

1287

我们学习Python的过程中总是遇到很多难题，最常见的比如IP限制，我们学会通过使用代理IP来解决，其他情况下也会存在很多异常或者麻烦，需要大家耐心学习，今天就讲解下常见的HTTPError异常。 100：继续...

Python爬虫（四） URLError、HTTPError异常处理

yj928674542的博客

11-07

3356

1.URLError首先解释下URLError可能产生的原因：网络无连接，即本机无法上网连接不到特定的服务器服务器不存在在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子：import urllib.requestrequest = urllib.request.Request(‘https://www.xxx.com‘) try: urllib.r

Python爬虫UrlError和HttpError系列之五

IT晓可程序员之路

07-19

3948

HTTPError和URLError知识总结

python爬虫——添加代理

weixin_44822403的博客

08-14

632

在进行爬虫的时候，可能会需要添加代理 from urllib.error import URLError from urllib.request import ProxyHandler,build_opener proxy_handler=ProxyHandler({ 'http':'http://127.0.0.1.8041', 'https':'https://127.0.0.1.8041', }) opener=build_opener(proxy_handler) try:

URLError和HTTPError基础用法

qq_40913582的博客

09-26

1万+

URLError是urllib库的error模块，属性reason表示错误原因 from urllib import request,error try: response = request.urlopen('https://cuiqingcai.com/index.htm') except error.URLError as e: print(e.reason) 上述...

HTTP/1.1详解