python爬取多个网页内容_Python 爬虫第三篇（循环爬取多个网页）

这篇文章是python履带的第三篇文章。前两篇文章的Python履带(urllib + regex)和第二篇文章的Python履带(urllib + BeautifulSoup),介绍如何获取网页信息的一个给定的URL和解析它。内容。本文将更进一步并获取和解析给定的URL的内容及其相关的URL根据给定的URL。为了实现这些功能,我们需要解决以下问题:如何确定URL是否被阅读。本文中使用的代码已经被上传到读取网页的内容,首先获得网页的url,但我们不能将所有的url输入程序,这个时候我们需要解析出已知的其他网址url,以便不断获得新的url读新的内容。获得新的url可以通过解析一个标记的href属性。

这里还设置一个最大url解析\u201C由于停止条件测试\u201D,默认值是1000。链接_all (name = ' a ' (r)): returnurl = (\u201Chref\u201D)如果url不是self.__url_set: self.__url_ (url) self.__url_ (url)下面是url从队列中取出代码:虽然不是self.__url_():数=计数+ 1 url = self.__url_()结果= _html (url)以上两段代码完成的整个过程一个url从存储在队列的队列。如何判断读取URL ?这个问题实际上是url重复数据删除的问题。url重复数据删除的常用方法主要包括以下几点:url存储在数据库(效率低),url保存在集合和集合的特点,没有重复的元素是用来来来去去。

将URL保存到集合通过散列算法如md5来删除重复值,这可以极大地提高内容的利用率。使用\u201C布隆过滤器\u201D布鲁姆过滤器拥有巨大的优势在时间和空间方面,但有一定的错误率,不适合高精度场合。在本文中,我们使用集合来减少重复的url。你可以自己寻找其他方法。有很多信息在互联网上。集合中的元素是没有秩序,不能重复。不可重复元素的特性适用于重复项消除URL。通过判断URL是否已经集合中,您可以快速确定URL被读取。具体看下面的代码:如果url不是self.__url_set: self.__url_ (url) self.__url_ (url)上面的代码首先法官在__url_set url是否存在,如果不存在,添加url __url_set,同时把第二url输入读取队列读取。