python网络爬虫课程设计报告摘要_课程设计 Python 网络爬虫（广度优先方法）

爬虫可以在许多语言中实现。由于python的易用性,python的功能。这里使用程序:爬一个域名下的所有网页,网页之间的指向关系存储在一个字典。可以通过设置域名领域,通过深度和深度可以设置。程序的原则:1。使用打开网页,使用BeautifulSoup解析打开网页;2. 使用函数来找到web页面中的链接,然后保存列表中的链接;3.步骤1,继续打开web页面,重复深度次。程序点:1。(非常重要)打开一个网页设置一个时间间隔。你不能马上打开,然后下一个。否则,一方面,你可能会被列入黑名单的网站,从而拒绝您的web页面请求,另一方面,它将导致网站服务器网页的压力造成不必要的麻烦;2. 记录爬行网页的路径,以避免重复爬行。

3.有必要区分爬记录是否内部网页的网站,这是一个常见的一个。情况是,当你爬,你不知道在哪里爬。平均而言,大型网站将有成千上万的在每个页面的链接。如果你不爬边界,抓取页面的数量将成倍增加。这是我们不想要的;4. 尽管有许多链接看起来不同,他们实际上是相同的web页面。例如,网站的内容页面:_,_,_。这些链接看起来不同,但它们实际上是他们使用相同的模板自动生成。如果你想记录作为一个类别,你需要努力工作对他们进行分类。下面的程序只实现了1、2和3在程序的要点。最简单的实现方法和基本方法。至于如何实现4,它仍在进一步思考,将在下一篇文章中更新。欢迎留言讨论进一步优化代码的实现主要包括以下部分:[x]定义一个类,包装整个爬行程序UrlParser [x]定义一个方法来搜索基于当前页面的链接列表解析器[x]定义一个方法来确定链接是一个内部链接isInnerLink [x]定义一个方法来存储爬行结果saveGraph代码如下:# - * -编码:utf - 8 - * - \\u201D\u201C从进口urlopenfrom bs4进口BeautifulSoupimport熊猫pdimport timeimport randomimport再输入loggingclass UrlParser: def __init__(自我、领域、深度、域名):= domainprint() = =域名深度= \#如果与http url不开始,url将完成如果(url = = None):返回\u201C如果((http)):如果((r ^ https *: \/ \/ \\ w * \\\u201D。

, url) ! = None):返回urlelse:回归\u201D:如果((' \/ \/ ')):url = url[2]如果((r * \\ \\ w。\u201C\\。\u201D, url) ! = None):返回'http: \/ \/ ' + urlelse:返回\u201Celif ((' \/ ')): returnelse:如果((r * \\ \\ w。\u201C\\。\u201D, url) ! = None):返回'http: \/ \/ ' + urlelse:返回\u201C#访问LinkListpre反过来指向网页中的链接和分析网页中的链接网页def解析器(自我、LinkListpre LinkListnext):在LinkListpre url:打印(url)试题:html = urlopen (url)除了BaseException e:(\u201C解析器::::warmning:网址无法打开:::' + url)继续;