面向对象单线程百科爬虫

爬虫简介

1. 简单爬虫框架，程序入口
2. url管理器
3. 网页下载器
4. 网页解析器
5. 网页输出保存

爬虫编程的意义：爬取天下数据，为我所用
爬虫禁忌：爬亦有道，同一网站只开启一线程，抓取时间间隔 10*t的抓取间隔（t是download时间）比较合理。

本例采用python内存法，存储临时数据
set（）集合

目标是爬取百科中 python 页面的所有链接的内容

目录结构：
└─craw_spider
html_downloder.py
html_outputer.py
html_parser.py
spider_main.py
url_manager.py
init.py

spider_main.py

#!/usr/bin/env python
#-*-coding:utf-8 -*-
from craw_spider import url_manager, html_parser, html_outputer,html_downloader


#定义一个类
class SpiderMain (object):
    def __init__(self):
        # 引入url_manager页面的url处理器，将返回的值赋给urls池
        self.urls=url_manager.UrlManager()
        #引入网页下载器，将返回的值赋给downloader
        self.downloader=html_downloader.HtmlDownloader()
        #引入网页分析器，将返回的值赋给parser
        self.parser=html_parser.HtmlParser()
        #引入输出器，将返回的值赋给outputer
        self.outputer=html_outputer.HtmlOutputer()
    #定义抓取函数
    def craw(self, root_url):
        count=1
        #引用add_new_url 函数处理 根url
        self.urls.add_new_url(root_url)
        #如果urls池中有新的url
        while self.urls.has_new_url():
            try:
                new_url=self.urls.get_new_url() #将得到的值赋给new_url
                print("craw %d : %s"%(count,new_url))
                html_cont=self.downloader.download(new_url) #得到下载器下载的内容
                new_urls,new_data=self.parser.parse(new_url,html_cont)  #得到过滤器过滤后的url池，和内容
                self.outputer.collect_data(new_data)  #输出器输出网页内容数据
                if count==10:  #定义抓取的页数，勿设置数量过多会让对方服务器超负荷。
                    break
                count+=1
            except:
                print("craw failed")  #捕获异常
        self.outputer.output_html()


if __name__=="__main__":
    root_url="http://baike.baidu.com/view/21087.htm"  #根url
    obj_spider=SpiderMain()   #实例化
    obj_spider.craw(root_url)  #执行

url_manager.py

#!/usr/bin/env python
#-*-coding:utf-8 -*-

#url管理器
class UrlManager(object):
    def __init__(self):
        self.new_urls=set()  #新url池
        self.old_urls=set()  #旧url池
    def add_new_url(self,url):   #将url添加到url池中
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)
    def add_new_urls(self,urls):   #批量添加url
        if urls is None or len(urls)==0:
            return
        for url in urls:
            self.add_new_url(url)
    def has_new_url(self):   #如果url池中有新的url则返回真
        return len(self.new_urls) !=0

    def get_new_url(self):  #将新的url 处理后放入旧池中
        new_url=self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

html_downloder.py

#!/usr/bin/env python
#-*-coding:utf-8 -*-

import urllib

#下载器
class HtmlDownloader(object):
    def download(self,url):
        if url is None:
            return  None
        response=urllib.urlopen(url)  #打开网页获取内容
        if response.getcode()!=200:  #如果返回不是200，则说明获取失败
            return None

        return response.read() #否则返回内容

html_parser.py

#!/usr/bin/env python
#-*-coding:utf-8 -*-
from bs4 import BeautifulSoup
import re
from urllib.parse import urlparse
class HtmlParser(object):
    def parse(self,page_url,html_cont):
        if page_url is None or html_cont is None:
            return
        soup=BeautifulSoup(html_cont,"html.parser",from_encoding="utf-8")
        new_urls=self.__get_new_urls(page_url,soup)
        new_data=self.__get_new_data(page_url,soup)
        return new_urls,new_data

    def __get_new_urls(self, page_url, soup):
        new_urls=set()  #初始化一个集合
        #找出所有的连接
        links=soup.find_all("a",href=re.compile(r"/view/\d+/.html"))
        for link in links:
            new_url=link["href"]
            #调用urljoin函数，参考 page_url 生成新的连接。自动获取域名，然后拼接
            new_full_url=urlparse.urljoin(page_url,new_url)
            new_urls.add(new_full_url)
        return new_urls

    def __get_new_data(self, page_url, soup):
        res_data={}  #初始化一个字典
        res_data["url"]=page_url

        title_node=soup.find("dd",class_="lemmaWgt-lemmaTitle-title").find("h1")
        res_data["title"]=title_node.get_text() #得到节点中的文本，标题

        summary_node=soup.find("div",class_="lemma-summary")
        res_data["summary"]=summary_node.get_text() #获取文章内容

        return res_data

html_outputer.py

#!/usr/bin/env python
#-*-coding:utf-8 -*-

#输出器
class HtmlOutputer(object):
    def __init__(self):
        self.datas=[]
    def collect_data(self,data):  #收集所有网页内容
        if data is None:
            return
        self.datas.append(data)  #加入到列表
    def output_html(self):
        fout=open("output.html","w")  #写入到文件
        fout.write("<html>")
        fout.write("<body>")
        fout.write("<table>")
        for data in self.datas:  #循环写入
            fout.write("<tr>")
            fout.write("<td>%s</td>"%data["url"])
            fout.write("<td>%s</td>"%data["title"])
            fout.write("<td>%s</td>"%data["summary"])
        fout.write("</table")
        fout.write("</body>")
        fout.write("</html>")
        fout.close()

以上代码仅供参考