添加超时跳过功能
首先, 我简单地将
urlop = urllib.request.urlopen(url)改为
urlop = urllib.request.urlopen(url, timeout = 2)运行后发现, 当发生超时, 程序因为exception中断. 于是我把这一句也放在try .. except 结构里, 问题解决.
支持自动跳转
在爬 http://baidu.com 的时候, 爬回来一个没有什么内容的东西, 这个东西告诉我们应该跳转到百度一下，你就知道 . 但是我们的爬虫并不支持自动跳转, 现在我们来加上这个功能, 让爬虫在爬 baidu.com 的时候能够抓取百度一下，你就知道 的内容.
首先我们要知道爬百度一下，你就知道 的时候他返回的页面是怎么样的, 这个我们既可以用 Fiddler 看, 也可以写一个小爬虫来抓取. 这里我抓到的内容如下, 你也应该尝试一下写几行 python 来抓一抓.
<html>
<meta http-equiv=”refresh” content=”0;url=http://www.baidu.com/”>
</html>看代码我们知道这是一个利用 htm
最低0.47元/天 解锁文章
2946
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
