python网络爬虫课程设计题目_山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》...

山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》

山东建筑大学 课 程 设 计 成 果 报 告 题 目： 基于Python的网络爬虫设计 课 程： 计算机网络A 院 (部)： 管理工程学院 专 业： 信息管理与信息系统 班 级： 学生姓名： 学 号： 指导教师： 完成日期： 目 录 1 设计目的1 2 设计任务内容1 3 网络爬虫程序总体设计1 4 网络爬虫程序详细设计1 4.1 设计环境和目标分析1 4.1.1 设计环境1 4.1.2 目标分析2 4.2 爬虫运行流程分析2 4.3 控制模块详细设计3 4.3 爬虫模块详细设计3 4.3.1 URL管理器设计3 4.3.2 网页下载器设计3 4.3.3 网页解析器设计3 4.4数据输出器详细设计4 5 调试与测试4 5.1 调试过程中遇到的问题4 5.2测试数据及结果显示5 6 课程设计心得与体会5 7 参考文献6 8 附录1 网络爬虫程序设计代码6 9 附录2 网络爬虫爬取的数据文档9 1 设计目的 本课程设计是信息管理与信息系统专业重要的实践性环节之一，是在学生学习完《计算机网络》课程后进行的一次全面的综合练习。本课程设计的目的和任务： 1．巩固和加深学生对计算机网络基本知识的理解和掌握； 2．培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力； 3．提高学生进行技术总结和撰写说明书的能力。 2 设计任务内容 网络爬虫是从web中发现,下载以及存储内容，是搜索引擎的核心部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 参照开放源码分析网络爬虫实现方法，给出设计方案，画出设计流程图。 选择自己熟悉的开发环境，实现网络爬虫抓取页面、从而形成结构化数据的基本功能，界面适当美化。给出软件测试结果。 3 网络爬虫程序总体设计 URL管理器 数据输出器 网页下载器 网页解析器 爬虫控制器 在本爬虫程序中共有三个模块： 1、 爬虫调度端：启动爬虫，停止爬虫，监视爬虫的运行情况 2、 爬虫模块：包含三个小模块，URL管理器、网页下载器、网页解析器。 (1) URL管理器：对需要爬取的URL和已经爬取过的URL进行管理，可以从URL管理器中取出一个待爬取的URL，传递给网页下载器。 (2) 网页下载器：网页下载器将URL指定的网页下载下来，存储成一个字符串，传递给网页解析器。 (3) 网页解析器：网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，而且还可以解析出每一个网页指向其他网页的URL，这些URL被解析出来会补充进URL管理器 3、数据输出模块：存储爬取的数据 4 网络爬虫程序详细设计 4.1 设计环境和目标分析 4.1.1 设计环境 IDE：pycharm Python版本：python2.7.13 4.1.2 目标分析 目标：从百度词条Python开始，以广度优先的方式，爬取相关联的若干词条网页的标题和简介 (1)初始URL：“ (2)词条页面URL格式： (3) 数据格式：标题——Python 简介—— (4)页面编码：utf-8 4.2 爬虫运行流程分析 爬虫程序的运行流程如图所示。 (1) 爬虫控制器从给定的URL开始，将给定的初始URL添加到URL管理器中，然后调用URL管理器的相关方法，判断是否有待爬取的URL (2) URL判断是否有待爬取的URL，如果有待爬取的URL，则返回给控制器，控制器将这个URL传递给网页下载器，下载该网页 (3) 网页下载器将下载好的数据返回给控制器，控制器再将返回的数据传递给网页解析器解析 (4) 网页解析器解析网页之后获取网页数据和网页的URL链接，再将这两个数据传递给控制器 (5) 控制器得到解析出来的数据之后ÿ