Python（五）——简单爬虫学习

掌握爬虫是很有用的技能，也是python中非常受欢迎的一种应用。

“学会爬虫，我们就掌握了整个世界”，虽然没有这么夸张，但确实可以通过爬虫去爬取很多你所需要的数据。

本章节仅介绍轻量级爬虫的开发（其实都是自己在学习过程中的笔记）

爬虫：一段自动抓取互联网信息的程序

 

URL管理器：管理待抓取URL集合和已抓取URL集合

      ——防止重复抓取、防止循环抓取

网页下载器（爬虫的核心）：将互联网上URL对应的网页下载到本地的工具

Python网页下载器有以下两种

      urllib2：Python官方基础模块

      requests：第三方包（更强大）

urllib2下载网页方法1（最简洁方法）

import urllib2
#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码，如果是200表示获取成功
print response.getcode()
#读取内容
cont = response.read()

urllib2下载网页方法2：添加data、http header

import urllib2
#创建Request对象
request = urllib2.Request(url)

#添加数据
request.add_data('a', '1')
#添加http的header
request.add_header('User-Agent', 'Mozilla/5.0')

#发送请求获取结果
response = urllib2.urlopen(request)

urllib2下载网页方法3：添加特殊情景的处理器

HTTPCookieProcessor      ProxyHandler     HTTPSHandler      HTTPRedirectHandler

import urllib2, cookielib

#创建cookie容器
cj = cookielib.CookieJar()

#创建1个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

#给urllib2安装opener
urllib2.install_opener(opener)

#使用带有cookie的urllib2访问网页
response = urllib2.urlopen("http://www.baidu.com/")

Python网页解析器：从网页中提取有价值数据的工具

以下是四种Python网页解析器

正则表达式      html.parser      Beautiful Soup      lxml

结构化解析-DOM（Document Object Model）数，以树的方式进行上下级元素的遍历和访问

 

Beautiful Soup：Python第三方库，用于从HTML或XML中提取数据

官网: http://www.crummy.com/software/BeautifulSoup/

from bs4 import BeautifulSoup

#根据HTML网页字符串创建BeautifulSoup对象
soup = BeautifulSoup(
                     html_doc,              #HTML文档字符串
                     'html.parser',         #HTML解析器
                     from_encoding = utf8   #HTML文档的编码
                     ）

下面我们来实际进行一个项目

if __name__"__main__":
    root_url = "http://baike.daidu.com/view/21084.htm"   #入口url
    obj_spider = SpiderMain()   #爬虫入口
    obj_spider.craw(root_url)   #启动爬虫


class SpiderMain(object):

    def __init__(self):
        self.urls = urls_manager.UrlManager()
        self.downloader = html_parser.HtmlParser()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.HtmlOutputer()
        

    def craw(self, root_url):
        count = 1   #用来记录当前爬取的是第几个url
        self.urls.add_new_url(root_url)
        while self.urls.has_new_url():
            try:   #异常处理
                new_url = self.urls.get_new_url()
                print 'craw %d: %s' %(count, new_url)
                html_cont = self.downloader.download(new_url)
                new_urls, new_data = self.parser.parse(new_url, html_cont)
                self.urls.add_new_urls(new_urls)
                self,outputer.collect_data(new_data)

                if count == 1000:   #只爬取1000个页面
                    break
                
                count++
            except:
                print 'craw failed'
                

        self.outputer.output_html()





class UrlManager(object):   #管理器

    def __init__(self):
        self.new_urls = set()
        self.old_urls = set()
        
    def add_new_url(self, url):
        if url is None:
            return
        if url not in self.new_urls and url not in self_old_urls:
            self.new_urls.add(url)


    def add_new_urls(self, urls):
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.add_new_url(url)


    def has_new_url(self):
        return len(self.new_urls) != 0
    

    def get_new_url(self):
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url
    



class HtmlDownloader(object):   #下载器

    def download(self, url):
        if url is None:
            return None

        response = urllib2.urlopen(url)

        if response.getcode() != 200:
            return None

        return response.read()
    
    

import Beautiful
import urlparser

class HtmlParser(object):    #解析器

    def _get_new_urls(self, page_url, soup):
        new_urls = set()
        
        links = soup.find_add('a', href = re.compile(r"view/\d+\.htm"))
        for link in links:
            new_url = link['href']
            new_full_url = urlparser.urljoin(page_url, new_url)
            new_urls.add(new_full_url)
        return new_urls


    def _get_new_data(self, page_url, soup):
        res_data = {}

        #url
        res_data['url'] = page_url

        #<dd class="lemmaWgt-lemmaTitle-title"> <h1>Python</h1>
        
        title_node = soup.find('dd', class = "lemmaWgt-lemmaTitle-title").find("hi")
        res_data['title'] = title_node.get_text()
        
        #<div class="lemma-summary">
        summary_node = soup.find('div', class_="lemma-summary")
        res_data['summary'] = summary_node.get_text()

        return res_url
    
    
    def parse(self, page_url, html_cont):
        if page_url is None or html_cont in None:
            return

        soup = BeautifulSoup(html_cont, 'html.parser', from_encoding = 'utf-8')
        new_urls = self._get_new_urls(page_url, soup)
        new_data = self._get_new_data(page_url, soup)
        return new_urls, new_data
    
        


class HtmlOutputer(object):

    def __init__(self):
        self.datas = []

        
    def collect_data(self):
        if data in None:
            return
        self.datas.append(data)


    def output_html(self):
        fout open('output.html', 'w')    #新建一个输出的文件

        fout.write("<html>")    #以html格式输出文档
        fout.write("<body>")
        fout.write("<table>")   #建立表格

        #python默认编码  ascll 换编码方式可以输出 .encode('utf-8')
        for data in self.datas:
            fout.write("<tr>")
            fout.write("<td>%s</td>" % data['url'])
            fout.write("<td>%s</td>" % data['title'].encode('utf-8'))
            fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))
            fout.write("</tr>")
        
        fout.write("<html>")
        fout.write("<body>")
        fout.write("<table>")
        
        fout.close()



    

可能需要稍加改动，不过应该import一些包就可以运行了。

可以试着尝试一下，并且再写的过程中可以感受到这种编程方式和代码风格比较直观，也很好理解

 

其实爬虫的内容还有很多，这只是一个很简单的入门级例子，学习到后面可以爬取很多你想要的内容，当然也会遇到很多问题，解决了这样那样的问题，你就会发现爬虫的乐趣。

加油，共勉！！