python简单爬虫:爬取并统计自己博客页面的信息(一)中介绍了简单的爬虫概念、本文代码的目的、爬虫的整体框架、工程目录结构、全局配置模块以及日志模块,接下来介绍一下简单的URL管理器和html下载器(无登录)的实现
7. URL管理器(url_manerger.py)
url管理器是用于管理待爬取的url和已爬取的url的,已爬取的url又分为爬取成功的和爬取失败的,主要是为了防止重复爬取和循环爬取
url管理器流程框图
- 使用继承以及虚函数的方法,不同的任务有不同的初始化根url的实现(initial_url_list)
import ConfigParser
# 导入虚函数相关package
from abc import ABCMeta, abstractmethod
# 从config.ini中取出配置好的根链接
config = ConfigParser.ConfigParser()
config.read('./config/config.ini')
root_html = config.get('root_html', 'html_url')
class UrlManerger(object):
# 声明该类型有虚函数
__metaclas