Python抓取糗事百科

参考了http://cuiqingcai.com/990.html  进行相应的整理

目标：抓取糗事百科上的段子

分为两步进行：

1. 首先需要抓取糗事百科上的网页信息

2. 对信息进行处理，提取出段子

第一步:获取糗事百科上的网页信息

使用第三方库 urllib2抓取网页信息

urllib2简介 

urllib2提供一个基础函数urlopen，通过向指定的URL发出请求来获取数据。最简单的形式就是

1. import urllib2
2. response=urllib2.urlopen('http://www.qiushibaike.com')
3. html=response.read()

这个过程就是我们平时刷网页的代码表现形式，它基于请求-响应模型。

1. response=urllib2.urlopen('http://www.qiushibaike.com')

实际上可以看作两个步骤: 

1.我们指定一个域名并发送请求 

request=urllib2.request('http://www.qiushibaike.com')

2.接着糗事百科 服务器响应来自我们程序的请求，并将所访问网页的页面信息保存到response中

response=urllib2.urlopen(request)  

3. 将网页信息保存后，需要将网页信息进行解码

pageCode = response.read().decode('utf-8', 'ignore')    #对保存到response中的网页信息进行解码；后面的'ignore'表示忽略不能解码的字符

现在我们完成了第一步，将需要访问的网页信息解码保存到pageCode列表中

第二步：从解码后的网页信息中提取出我们需要的段子

使用正则表达式去除网页中我们不需要的信息，提取出需要的信息；

先在浏览器中打开糗事百科，然后按F12，查看需要获得的段子在什么位置？然后通过正则表达式，提取出来

1. 先使用 re.compile()函数，将正则表达式的字符串形式编译为Pattern实例，可以理解为就是一个查找字符串的规则

pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
                         'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)

2.然后根据这个pattern“规则”，从pageCode中找出段子信息
 items = re.findall(pattern, pageCode)

代码如下：

# -*- coding: utf-8 -*-

import urllib
import urllib2
import re
import thread
import time

# 糗事百科爬虫类
class QSBK:
    #初始化方法，定义一些变量
    def __init__(self):
        self.pageIndex = 1
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        #初始化headers
        self.headers = { 'User-Agent' : self.user_agent }
        #存放段子的变量，每一个元素是每一页的段子们
        self.stories = []
        #存放程序是否继续运行的变量
        self.enable = False
    #传入某一页的索引获得页面代码
    def getPage(self, pageIndex):
        try:
            url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
            #构建请求的request
            request = urllib2.Request(url,headers = self.headers)       #向指定的url发送访问请求，同时添加头信息headers，将程序伪装成浏览器来发送请求，因为有的网站不允许程序访问
            #利用urlopen获取页面代码
            response = urllib2.urlopen(request)     #服务器响应来自我们程序的请求，并将所访问网页的页面信息保存到response中，
            #将页面转化为UTF-8编码
            pageCode = response.read().decode('utf-8', 'ignore')    #对保存到response中的网页信息进行解码；后面的'ignore'表示忽略不能解码的字符
            return pageCode

        #用于异常处理，判断是否有异常情况，如果是产生异常，则打印异常原因
        except urllib2.URLError, e:
            if hasattr(e, "reason"):                # 判断对象e，是否有reason属性，也就是是否有异常产生，有则打印出异常原因
                print u"链接糗事百科失败，错误原因", e.reason
                return None

    #传入某一页代码，返回本页不带图片的段子列表
    def getPageItems(self, pageIndex):
        pageCode = self.getPage(pageIndex)
        if not pageCode:
            print "页面加载失败......"
            return None
        # 将正则表达式编译成pattern实例，可以理解为将该正则表达式编译成一个查找字符串的规则
        pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
                         'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
        # 根据这个pattern实例查找字符串中的信息
        #这里获得的是一页的信息，一页中包含很多个单独的小段子，所以，将每个小段子作为一个列表的元素保存在items中，可以理解为一个二维数组，
        #这个二维数组中的一维表示的是一个完整的段子，第二维表示的这个段子中的信息，包括：发布人，内容，时间以及点赞数
        items = re.findall(pattern, pageCode)    
        #用来存储每页的段子们
        pageStories = []
        #遍历正则表达式匹配的信息
        for item in items:      
            #是否含有图片
            haveImg = re.search("img", item[3])     #判断是否有图片，如果有则不显示出来
            #如果不含有图片，把它加入list中
            if not haveImg:
                replaceBR = re.compile('<br/>') 
                text = re.sub(replaceBR, "\n", item[1])     # 将item[1]中的<br/>换行符，换为\n，
                #item[0]是一个段子的发布者，item[1]是内容，item[2]是发布时间，item[4]是点赞数
                #append()是将元素添加到pageStories列表中
                pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[4].strip()])#.strip()函数是指删除字符串中的空白字符，包括（'\r', '\t', '\n', ''）,并将字符串返回，不改变原字符串
        #返回列表
        return pageStories

    #加载并提取页面的内容，加入到列表中，每一次是加载一页的数据到stories列表中
    def loadPage(self):
        #如果当前未看的页数少于2页，则加载新一页
        if self.enable==True:
            if len(self.stories) < 2:
                #获取新一页
                pageStories = self.getPageItems(self.pageIndex)
                #将该页的段子存放到全局list中
                if pageStories:
                    self.stories.append(pageStories)  #将一页中的所有段子加载到stories中
                    #获取完之后页码索引加一，表示下次读取下一页
                    self.pageIndex += 1

    #调用该方法，每次敲回车打印输出一个段子
    def getOneStory(self,pageStories,page):
        #遍历一页的段子
        for story in pageStories:       #pageStories中包含的是一整页的段子，每次遍历，只提取一个段子到story变量中
            #等待用户输入
            input = raw_input()
            #每当输入回车一次，判断一下是否要加载新页面
            self.loadPage()
            #如果输入Q，则程序结束
            if input == "Q":
                self.enable = False
                return
            print u"第%d页\t发布人:%s\t发布时间:%s\t赞:%s\n%s" %(page, story[0], story[2], story[3], story[1])

    #开始方法
    def start(self):
        print u"正在读取糗事百科，按回车查看新段子， Q退出"
        #使变量为True，程序可以正常运行
        self.enable = True
        #先加载一页内容，获得一页的段子
        self.loadPage()
        #局部变量，控制当前读到了第几页
        nowPage = 0
        while self.enable:
            #判断一页中的段子是否已经全部取出
            if len(self.stories)>0:
                #从全局list中获取一页的段子
                pageStories = self.stories[0]
                #当前读到的页数加一
                nowPage += 1
                #将全局list中第一个元素删除，因为已经取出
                del self.stories[0]
                #输出该页的段子
                self.getOneStory(pageStories, nowPage)

#创建一个对象
spider = QSBK()
#调用对象方法
spider.start()