python爬虫框架论文开题报告范文_基于Web爬虫系统设计开题报告

一、本课题研究的意义、内容、思路、方法及参考文献等：

(1) 研究意义

互联网是一个超级庞大的数据库，有着无数的网页，包含着海量的信息，无孔不入、森罗万象。但很多时候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，但是纵然是进化到21世纪的人类，依然只有两只手，一双眼睛，不可能一个网页、一个网页地去点去看，所以将数据有效地检索并组织呈现出来有着巨大的应用前景。

爬虫作为搜索引擎的重要组成部分，而搜索引擎作为一个辅助人们检索信息的工具，成为了用户访问万维网的入口和指南。但是，这些通用性的搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求，通过搜索引擎返回的结果包含大量用户不关心的网页。为了解决这个问题，一个灵活的爬虫有着无可替代的重要意义。

(2) 工作内容

爬虫实际上就是采集网络上数据的一段程序。这段程序的功能就是从网络上采集需要的数据。目前来说，大多数爬虫是用后台脚本类语言写的，其中Python无疑是用的最多最广的，而且相对于其他语言来说，python相对简单一点，并且页诞生了很多优秀的库和框架。本课题将采用Python作为web爬虫系统实现语言对爬虫进行编写。

一个爬虫的工作流程如下：(1)发起请求；(2)获取响应内容；(3)解析内容；(4)保存数据；所以，爬虫就是从请求内容到获取响应，接着解析内容，最后显示相应或者保存内容的过程。内容需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网