爬取百度提示超时_爬取网页的通用代码框架

最新推荐文章于 2022-07-07 11:55:43 发布
最新推荐文章于 2022-07-07 11:55:43 发布
阅读量600 收藏
点赞数
文章标签： 爬取百度提示超时
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33917277/article/details/113366762
版权

4546ea7fde9313da6474f3a6399042bb.png

通用代码框架是指一组能很快且准确，可靠的爬取网页内容的代码。

通常我们都会使用requests.get(url)来获取网页的相关内容。但是，这并不能每次都能成功访问到所想访问的网站，所以，我们还要学会做异常处理。

Requests库异常有以下6种：

  1. requests.ConnectionError()：网络连接错误异常，如DNS查询失败、拒绝连接等

2. requests.HTTPError()： HTTP错误异常

3. requests.URLRequired()： URL缺失异常

4. requests.TooManyRedirects()：超过最大重定向次数，产生重定向异常

5. requests.ConnectTimeout()：连接远程服务器超时异常

6. requests.Timeout()：请求URL超时，产生超时异常

其中，ConnectTimeOut异常和TimeOut异常是有区别的，TimeOut是指发出url请求到获取整个内容的超时而产生的异常，而ConnectTimeOut是与远程服务器之间连接超时而产生的异常。

理解Response类很重要，Response这个对象返回了所有的网页内容，那么它也提供了一个方法：

r.raise_for_status()：如果不是200，产生异常requests.HTTPError

该方法能判断返回的内容是不是200，不是的话会返回一个HTTPError的异常。

下面我们来看一下通用代码框架。

import requests

# 通用代码框架
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status() # 如果状态不是200，引发HTTPError异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

由于涉及到异常处理，我们就用到了Python的try, except语句。其中，第一段我们就称为通用代码框架。首先我们通过get()方法获取到网页内容，然后通过r.raise_for_status()来获取异常，如果状态码不是200，那么将会引发HTTPError异常，然后我们通过r.encoding赋给r.apparent_encoding来获取到网页编码，最后r.text得到整个网页内容。如果连接过程，网络出现问题，那么就会执行try, except语句获取一个异常，那么return就能返回到一个异常语句。

我们试运行一下上面的代码，得到结果：

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

没有问题，网页正常显示。

当我们创造一个异常时，比如，删除掉http://， 这时运行：

产生异常

我们看到，会提示except部分产生异常。

其实，通用代码框架就是一种让用户爬取网页更快，更有效的一种方法。

（笔记）

管住你的嘴
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬虫怎么解决超时timeou错误
Z_suger7的博客
06-30 1743
爬虫在运行过程会出现各种报错的问题，比如当我们在进行网络爬虫的时候，一般都是先进行网站的访问才能够正常的进行数据的获取，但是有的时候进行网站的访问的时候，总是会出现请求超时的情况。或者又是在进行网络端口连接的时候时间的延迟也会导致或者是在请求量比较大，目标网站承重量有限的情况下可能会出现下面这种报错。还有在爬虫程序里面添加了代理，但是爬取数据量比较大的情况下出现了超时，降低请求量或限制速度都不是好的选择，为了能解决报错和按量采集数据，可以通过增加代理IP的量来解决。
python爬虫超时怎么办？你只要看这三种方法
2301_78094636的博客
05-24 2894
其次是：连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 会等待的秒数。其次是：连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 会等待的秒数。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。用通俗易懂的漫画，来教你学习Python，让你更容易记住，并且不会枯燥乏味。
百度服务器状态异常,百度抓取异常连接超时是什么意思
weixin_39684967的博客
07-31 1377
如果网站出现了百度抓取异常，链接超时这样的现象之后，就会严重的影响到了网站的收录，网站关键词排名优化也肯定是受到阻碍的。小凯seo博客和朋友们分享一下什么是百度抓取异常，一般来说抓取异常主要指的搜索引擎蜘蛛无法正常的对网站进行抓取，导致抓取异常的因素主要有网站的域名及服务器空间、网站本身的程序。1、导致抓取异常的网站域名及服务器空间搜索引擎蜘蛛无法解析到网站的IP地址，也就是出现了域名解析的问题。...
写python爬虫的第一天，拿百度练手遇到 “ 被反爬遇到＜title＞百度安全验证＜/title＞ ” 的解决方案
qq_33769308的博客
09-15 1万+
博主第一次写博文，第一次学爬虫，就是想分享，大家见怪不怪， 首先我设置了一个自定义UA代理池并没有采用插件pip install fake-useragent形式进行随机获取print(ua.ie) ua_list = [ 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11
Python爬虫实战项目：简单的百度新闻爬虫
05-25 2011
这个实战例子是构建一个大规模的异步新闻爬虫，但要分几步走，从简单到复杂，循序渐进的来构建这个Python爬虫 本教程所有代码以Python 3.6实现，不兼顾Python 2，强烈建议大家使用Python 3 ...
【精品小工具】分享个pyppeteer 通用爬虫（爬取几乎任何网站）
04-21
【Pyppeteer通用爬虫】是一个强大的Python爬虫框架，它基于Google的Puppeteer库，能够模拟浏览器行为，从而实现对几乎任何网站的爬取。Pyppeteer不仅支持基本的网页抓取，还提供了点击、填写表单、处理JavaScript等...
spiderBaiDuImg.rar
08-03
本资源"spiderBaiDuImg.rar"提供了使用C++和MFC框架编写的百度图片爬取源代码，为开发者提供了一个直观的学习和实践平台，便于理解和掌握网络爬虫的基本原理及应用。 首先，C++是一种通用的、面向对象的编程语言，...
基于Java的网页爬虫 JSpider.zip
最新发布
06-17
总的来说，JSpider是一个功能全面的Java网页爬虫框架，它结合了Java的各种库和工具，提供了一种方便的方式来构建和运行网页爬虫项目，适用于数据挖掘、市场分析等多种应用场景。开发者可以通过理解和使用JSpider，...
易得网站数据通用采集系统.7z
03-21
《易得网站数据通用采集系统》是一款用于自动化获取和处理网络数据的专业工具，它能够帮助用户从各种网站中批量提取所需信息，适用于市场研究、数据分析、SEO优化等多个领域。这款系统的核心在于其强大的数据抓取...
OrbitalCannon：通用网络爬虫程序
02-18
轨道大炮，OrbitalCannon，是一款基于Python的通用网络爬虫程序，设计用于高效地抓取网页信息。在互联网大数据的时代，网络爬虫扮演着至关重要的角色，它们能够帮助我们自动化收集、分析和处理海量的网页数据，从而...
设置timeout限制在爬虫中的运用
肥宅Sean
05-15 1万+
设置timeout方法 这个有很多种的，下面以urllib为例 下面选取的是网页是python官网 不使用的timeout的情况 &gt;&gt;&gt; import urllib.request &gt;&gt;&gt; response = urllib.request.urlopen('http://www.python.org') &gt;&gt;&gt;&gt; 使用...
python中关于requests里的timeout()
热门推荐
weixin_44642304的博客
05-14 2万+
timeout(超时) 首先是：为防止服务器不能及时响应，大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下，除非显式指定了 timeout 值，requests 是不会自动进行超时处理的。如果没有 timeout，你的代码可能会挂起若干分钟甚至更长时间 其次是：连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 会等待的秒...
Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器）
小菜鸡的小博客
03-30 8158
Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器） 这里写目录标题Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器）1.Python爬虫的工作过程1.1 获取网页1.2 提取信息1.3 保存数据2.获取一个 POST / GET 请求2.1 获取一个GET请求2.2 获取一个POST请求3.模拟访问页面超时4.假装自己是一个genuine browser 1.Python爬虫的工作过程 爬虫简介：网络爬虫就是按照一定规则，自动
爬虫-timeout机制-避免网页假死 长时间不加载
南七小僧的学海无涯
10-12 8848
爬虫有时候会因为爬去某些网页速度极慢，影响性能。所有可以设置超时时间。  timeout单位 秒 设置超时时间为12，使用try语句。 #coding:utf-8 **urllib2** 超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。 例如: #coding:utf-8 import urllib2 try: url = "http://www.b...
1爬虫百度首页 结果失败成空页 以及 为什么出乱码
代码白的博客
07-07 1002
爬虫网页结果出乱码、没有乱码出白页两种情况解决办法
爬虫爬取网页的通用代码框架（附实例）
Jarrodche的博客
08-05 6775
通过一个爬虫网页的通用代码框架来实现一个网页的爬取，附实例：京东商品页面的爬取，百度搜索关键字提交，ip地址自动查询。
爬取网页的通用代码框架
cxrpty的博客
02-18 677
在爬取网页内容时，r.request(url)并不是一定成立的，因为网络连接有风险，所以这样的语句，它的异常处理很重要。 Request库支持6种常用的连接异常，Response返回了所有的网页内容，它也提供了一个方法raise_for_status，该方法是专门与异常打交道的方法，它能够判断返回的Response类型的状态是不是200，如果是，它将表达返回的内容是正确的，如果不是，则产生异常； 通用代码框架的作用是可以有效的处理我们在访问或者在爬取网页过程中可能出现的一些错误或者网络不稳定..
java中URL的应用
tomorrow_fine的博客
05-06 497
public class Test02 { public static void main(String[] args){ try { //创建一个url实例 URL imooc=new URL("http://www.imooc.com"); URL url=new URL(imooc,"/index
通用代码框架及HTTP协议
aite_的博客
04-10 788
点击打开链接对之前内容的总结和复习import requests r = requests.get("http://www.baidu.com") print(r.status_code) print(r.headers) print(r.text) print(r.encoding) #从header里猜测编码 print(r.apparent_encoding) #从内容中分析出响应...
java设置超时_Java：如何实现代码超时功能？
05-26
在 Java 中，可以使用线程来实现代码超时功能。具体实现方式如下： 1. 定义一个线程类，继承 Thread 类，并重写 run 方法，在 run 方法中执行需要超时的代码。 2. 在主线程中创建该线程对象，并启动该线程。 3. 在主线程中调用该线程对象的 join 方法，并传入一个超时时间，单位为毫秒。如果该线程在超时时间内没有执行完毕，则主线程抛出 InterruptedException 异常。 示例代码如下： ```java public class TimeoutThread extends Thread { private volatile boolean finished = false; // 用于标记线程是否执行完毕 private Runnable task; // 需要超时的代码 public TimeoutThread(Runnable task) { this.task = task; } @Override public void run() { task.run(); finished = true; } public boolean isFinished() { return finished; } } public class Main { public static void main(String[] args) { Runnable task = new Runnable() { @Override public void run() { // 需要超时的代码 } }; TimeoutThread thread = new TimeoutThread(task); thread.start(); try { thread.join(1000); // 设置超时时间为 1 秒 if (!thread.isFinished()) { thread.interrupt(); // 如果超时，则中断线程 throw new InterruptedException("超时"); } } catch (InterruptedException e) { e.printStackTrace(); } } } ``` 在上面的代码中，TimeoutThread 类继承 Thread 类，并重写了 run 方法，在该方法中执行需要超时的代码，并在执行完毕后将 finished 标记设为 true。 在主线程中，创建 TimeoutThread 对象，并启动该线程。然后调用该线程对象的 join 方法，并传入超时时间 1000 毫秒。如果 TimeoutThread 线程在 1000 毫秒内执行完毕，则主线程继续执行。否则，主线程抛出 InterruptedException 异常，并中断 TimeoutThread 线程。 需要注意的是，在超时时，需要使用 thread.interrupt() 方法中断线程。因为线程在执行某些代码时可能会阻塞，而中断线程可以使线程从阻塞状态中恢复。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值