基于python的爬虫---自顶向下的设计思想

近几年python因其精炼的结构，简单的语法，强大的库支持，科学计算等优势迅速走红！

亲自编写一个爬虫应该是检验你所学python基础的一个好工具吧！今天，我把我所学习的知识总结一下，和大家分享！欢迎大家指正。

这个爬虫是爬取一些不需要登陆的网站的数据，当需要爬去登陆的网站需要学习cookie，ajax等技术，这里不做介绍

给定一个网址url，指定要爬去的内容，分析出其中的url，分析出其中的数据，爬出来的数据保存格式，这是爬虫的基本任务，这里采用自顶向下的设计方式，

首先指定要爬去的网址

root_rul="http://*******************"

首先你的实例化你的主类，并调用其开始爬去的方法

obj_spider=SpiderMain()
obj_spider.crew(root_rul)

根据分析，你的爬去顺序是首先将root_rul添加至url管理器中，随后需要从url管理器取得一个待爬去的url，并将此url对应的网页下载出来，随后将此页解析出新的url和文本解析，随后将解析出的url保存至待爬去的url管理器集合中，最后输出解析好的内容。这就是一个简单爬虫的流程

根据如上所示我们需要建立几个类，

url_manager、html_downloader、html_parser、html_outputer

所以主类就可以写为如下所示：

from baike_spider import html_downloader, url_manager, html_parser,\
    html_outputer


class SpiderMain(object):
    def __init__(self):
        self.urls = url_manager.UrlManager()
        self.downloader = html_downloader.HtmlDownloader()
        self.parser=html_parser.HtmlPaser()
        self.outputer=html_outputer.HtmlOutputer()
    
    def crew(self, root_rul):
        count = 1
        self.urls.add_new_url(root_rul)
        while self.urls.has_new_url():
            try:
                new_url=self.urls.get_new_url()
                html_cont=self.downloader.download(new_url)
                new_urls , new_data = self.parser.parser(new_url , html_cont)
                self.urls.add_new_urls(new_urls)
                self.outputer.collect_data(new_data)
                print count
                if count ==100:
                    break
                count +=1
            except:
                print 'crew filed'
        self.outputer.outputhtml()

有一个爬去方法

随后，我们开始实现上述的几个类及其方法

class UrlManager(object):
    
    def add_new_url(self,url):
    
    def add_new_urls(self,urls):

    def has_new_url(self):

    def get_new_url(self):
 

downloader类

import urllib2
class HtmlDownloader(object):
    
    
    def download(self,url):

parser类

from bs4 import BeautifulSoup
import re
import urlparse
class HtmlPaser(object):
 
    def parser(self ,page_url , html_cont):
        

outputer类

class HtmlOutputer(object):

    def outputhtml(self):

    def collect_data(self , data):

这就将这个框架定义好了，接下来我们就需要根据需求编写实际代码了

从顶部开始，逐步细化，逐步实现你的需求，这就是你一种设计方式，

ur_manager需要这么几个方法：

添加url

def add_new_url(self,url):
        if url is None:
            return 
        if url not in self.new_urls and url not in self.old_urls :
            self.new_urls.add(url)

添加解析出来的大量url

def add_new_urls(self,urls):
        if urls is None or len(urls)==0:
            return 
        for url in urls:
            self.new_urls.add(url)

判断是否有url

def has_new_url(self):
        return len(self.new_urls) !=0

获取一个url

    def get_new_url(self):
        new_url=self.new_urls.pop()
        if new_url not in self.old_urls:
            self.old_urls.add(new_url)
            return new_url

downloader类需要实现将指定的页面下载下来：

 def download(self,url):
        if url is None :
            return None
        
        
        response = urllib2.urlopen(url)
        
        if response.getcode()!= 200:
            return None
        
        return response.read()
    

解析器需要解析出url和需要的内容来

def parser(self ,page_url , html_cont):
        if page_url is None or html_cont is None:
            return 
        
        soup = BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')
        new_urls=self._get_new_urls(page_url,soup)
        new_data=self._get_new_data(page_url,soup)
        return new_urls,new_data

因此定义了两个方法_get_new_url和_get_new_data

def _get_new_urls(self, page_url, soup):
        new_urls=set()
        links = soup.find_all('a',href=re.compile('/view/\d+.htm'))
        for link in links:
            new_url = link['href']
            new_full_url = urlparse.urljoin(page_url, new_url)
            print new_full_url
            new_urls.add(new_full_url)
        return new_urls
    
    def _get_new_data(self, page_url, soup):
        res_data = {}
        
        res_data['url']=page_url
        
        
        #<dd class="lemmaWgt-lemmaTitle-title"><h1>Guido van Rossum</h1>
        title_node=soup.find('dd',class_='lemmaWgt-lemmaTitle-title').find('h1')
        res_data['title']=title_node.get_text()
        
        
        #<div class="lemma-summary" label-module="lemmaSummary">
        summary_node = soup.find('div',class_="lemma-summary")
        res_data['summary']=summary_node.get_text()
        
        return res_data

outputer需要将解析好的数据输出

def outputhtml(self):
        fout = open('output.html','w')
        
        fout.write('<html>')
        fout.write('<body>')
        fout.write('<table border="1">')
        
        for data in self.datas:
            fout.write('<tr>')
            fout.write('<td>%s</td>'%data['url'].encode('utf-8'))
            fout.write('<td>%s</td>'%data['title'].encode('utf-8'))
            fout.write('<td>%s</td>'%data['summary'].encode('utf-8'))
            fout.write('</tr>')
        
        fout.write('</table>')
        fout.write('</body>')
        fout.write('</html>')
        
        
        fout.close()