python简单爬虫：爬取并统计自己博客页面的信息（二）

python简单爬虫：爬取并统计自己博客页面的信息（一）中介绍了简单的爬虫概念、本文代码的目的、爬虫的整体框架、工程目录结构、全局配置模块以及日志模块，接下来介绍一下简单的URL管理器和html下载器（无登录）的实现

7. URL管理器（url_manerger.py）

• url管理器是用于管理待爬取的url和已爬取的url的，已爬取的url又分为爬取成功的和爬取失败的，主要是为了防止重复爬取和循环爬取

• url管理器流程框图
  

• 使用继承以及虚函数的方法，不同的任务有不同的初始化根url的实现(initial_url_list)

import ConfigParser
# 导入虚函数相关package
from abc import ABCMeta, abstractmethod

# 从config.ini中取出配置好的根链接
config = ConfigParser.ConfigParser()
config.read('./config/config.ini')
root_html = config.get('root_html', 'html_url')

class UrlManerger(object):
    # 声明该类型有虚函数
    __metaclas