爬虫-糗事百科段子

练习爬取糗事百科段子，直接上代码洛，有注释哦。。。

__author__="a958832776"
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import thread
import  time

class qiushibaikeclass:

    #初始化方法，定义一些变量
    def __init__(self):
        self.pageIndex=1
        self.user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        #初始化headers
        self.headers= { 'User-Agent' : self.user_agent }
        #存放段子的变量，每一个元素是每一页的段子们
        self.stories=[]
        #程序是否继续
        self.enable=False
    #传入某一页的索引获得页面代码
    def getPage(self,pageIndex):
        try:
            url='http://www.qiushibaike.com/' + str(pageIndex)
            #构建请求request
            request=urllib2.Request(url,headers=self.headers)
            #利用urlopen获取页面代码
            response=urllib2.urlopen(request)
            #将页面代码转换成utf-8编码
            pageCode=response.read().decode('utf-8')
            return pageCode
        except urllib2.URLError,e:
            if hasattr(e,"reason"):
                print u"连接糗事百科失败，错误原因:"+e.reason
                return None
    #传入某一页代码，返回本页不带图片的段子列表
    def getPageItems(self,pageIndex):
        pageCode=self.getPage(pageIndex)
        if not pageCode:
            print "页面加载失败"
            return None
        #pattern= re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+
        #             '="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
        pattern=re.compile('<div class="author clearfix">.*?<h2>(.*?)</h2>.*?<div class="content">(.*?)</div>.*?<div class="stats".*?i class="number">(.*?)</i>(.*?)</span>.*?<span class="dash".*?i class="number">(.*?)</i>(.*?)</a>',re.S)

        items = re.findall(pattern,pageCode)
        #用来存储每页的段子们
        pageStories = []
        #遍历正则表达式匹配的信息
        for item in items:
            #haveImg = re.search("img",item[3])
            #if not haveImg:
                 #item[0]是一个段子的发布者，item[1]是发布时间,item[2]是内容，item[4]是点赞数
                pageStories.append([item[0].strip(),item[1].strip(),item[2].strip(),item[4].strip()])
        return pageStories

    #加载并提取页面的内容，加入到列表中
    def loadPage(self):
        #如果当前未看的页数少于2页，则加载新一页
        if self.enable == True:
            if len(self.stories) < 2:
                #获取新一页
                pageStories = self.getPageItems(self.pageIndex)
                #将该页的段子存放到全局list中
                if pageStories:
                    self.stories.append(pageStories)
                    #获取完之后页码索引加一，表示下次读取下一页
                    self.pageIndex += 1

      #每次回车打印输出一个段子
    def printOneStory(self,pageStories,page):
        #遍历一页的段子
        for story in pageStories:
            #等待用户输入
            input = raw_input()
            self.loadPage();
            #如果输入Q则结束
            if input=="Q":
                self.enable=False
                return
            print u"%d%s%s%s%s\n" %(page,story[0],story[1],story[2],story[3])
    #开始方法
    def start(self):
        print u"enter contiune  q exit"
          #使变量为True，程序可以正常运行
        self.enable = True
        #先加载一页内容
        self.loadPage()
        #局部变量，控制当前读到了第几页
        nowPage = 0
        while self.enable:
            if len(self.stories)>0:
                #从全局list中获取一页的段子
                pageStories = self.stories[0]
                #当前读到的页数加一
                nowPage += 1
                #将全局list中第一个元素删除，因为已经取出
                del self.stories[0]
                #输出该页的段子
                self.printOneStory(pageStories,nowPage)

#实例化类   
spider=qiushibaikeclass()
#开始抓取
spider.start()

代码中的正则表达式和输出可以任意更换成自己想要的格式，不明白的地方欢迎留言交流。