python 爬虫 爬取PyPDF2的官方在线文档
从学python开始就知道爬虫了,不过也仅限于知道。这段时间学习GNU Radio,官网的教程介绍都需要FQ才能看到,太麻烦。就起了用爬虫把所有网页全部下载的想法。这里的话,由于我这边没有FQ,就随便找了python的模块PyPDF2,爬了它的在线文档。把整个过程详细记录下。
第一步,确定逻辑关系
所谓爬虫,就是模拟人浏览网页行为的自动化程序。为了以后的爬取其他文档时方便修改,所以将整个爬虫分为5个模块。爬虫入口和主调度模块(spider_main),url管理模块(url_manager),html下载模块(html_downloader),html分析模块(html_parser)和输出模块(html_outputer)。它们之间的通信逻辑如下: