#coding:utf8
from baike_spider import url_manager, html_downloader, html_parser,\
html_outputer
class SpiderMain(object):
#构造函数,初始化各个对象
def __init__(self):
#url管理器
self.urls = url_manager.UrlManager()
#url下载器
self.downloader = html_downloader.HtmlDownloader()
#url解析器
self.parser = html_parser.HtmlParser()
#url输出器
self.outputer =html_outputer.HtmlOutputer()
#爬虫的调度程序
def craw(self, root_url):
#count记录当前爬取的是第几个url
count = 1
#1.首先将入口url添加入管理器
self.urls.add_new_url(root_url)
#启动爬虫循环,当管理器中有url时
while self.urls.has_new_url():
try:
#获取一个待爬取的url
new_url = self.urls.get_new_url()
print 'craw %d : %s' % (count,new_url)
#启动下载器下载页面
html_cont = self.downloader.download(new_url)