爬取糗事百科数据

1 爬取页面代码

import urllib.request
import urllib.error
from urllib.request import urlopen  #使用URLopen函数需要从包中声明

url='http://www.qiushibaike.com/hot/page=1'
agent='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36' #复制过来页面的agent地址
header={'User-Agent':agent}#编译成header验证
try:
    request=urllib.request.Request(url,headers=header)#在request时加上header
    response=urllib.request.urlopen(request)
    print(response.read())
except urllib.error.URLError as e:
    if hasattr(e,'code'):  #hasattr函数：e中含有这个属性则返回真
       print(e.code)
    if hasattr(e,'reason'):
       print(e.reason)

没加上headers验证时报错，加上后打印出页面代码了。

2 爬取糗百段子

import urllib.request
import urllib.error
import re
from urllib.request import urlopen

page=1
url='http://www.qiushibaike.com/hot/page/1/'
agent='Mozilla/5.0 (Windows NT 6.1; WOW64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
header={'User-Agent':agent}
try:
    request=urllib.request.Request(url,headers=header)
    response=urllib.request.urlopen(request)
    content=response.read().decode('utf-8')#把网站源码用utf-8转成内容
    pattern = re.compile('<div class="author clearfix">.*?<h2>(.*?)</h2>.*?<div class="content".*?<span>(.*?)</span>(.*?)<div class="stats">.*?class="number">(.*?)</i>',re.S)
    #配正则表达式:(.*?)代表要爬取的内容
    items=re.findall(pattern,content)#用findall函数在content中查找符合patten的字段
    for item in items:#循环语句，遍历所有的item
        haveImg=re.search('img',item[2])#如果一个item[2]中含有'img'字段，，则haveimg为真，则这条段子含有图片
        if not haveImg:#只有不含图片的段子被打印出来
           print (item[0]+'\n'+item[1]+'\n'+item[3])
except urllib.error.URLError as e:
    if hasattr(e,'code'):
       print(e.code)
    if hasattr(e,'reason'):
       print(e.reason)

部分爬取结果：
**惹祸了，快跑
男子误入传销组织，偷走五十万，后来传销人员报案，男子说以前他是小偷，可后来不干了，这次偷钱得目的是为了让警方能发现传销窝点，真希望能多几个这样的小偷，可算是强中自有强中手
567
我就撩撩吥泡你
女朋友第一次来我家玩儿。
左邻右舍的大婶大妈们闻风而动，顷刻之间就把我家围了个水泄不通。
张婶儿抱着她家的大胖孙子走过来，上下打量了我女朋友一番：“哎呀，这妹娃儿长得好乖哟，你看这脸，白白嫩嫩的，跟我屋孙仔这屁 股蛋子似的……”
3068
篱笆房站
反正我是笑了，您随意！
463
曳尾之鱼
test
486**

配正则表达式时尽量严谨繁琐一些，这样不容易出错。

3 设计面向对象模式

import urllib.request
import urllib.error
import threading
import time
import re
from urllib.request import urlopen
#糗事百科爬虫类
class QSBK:
    #初始化方法，定义一些变量
    def __init__(self):
        self.pageIndex=1
        #初始化headers
        self.user_agent='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
        self.headers={'User-Agent':self.user_agent}
        #存放段子的变量，每一个元素时每一页的段子们
        self.stories=[]
        #存放程序是否继续运行的变量
        self.enable=False
    #返回某页的代码
    def getPage(self,pageIndex):
        try:
            url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
            #构建请求的request
            request=urllib.request.Request(url,headers=self.
            headers=self.headers)
            #利用urlopen获取页面代码
            response=urllib.request.urlopen(request)
            #读取代码，并将代码转化成utf-8格式
            pagecode=response.read().decode('utf-8')
            return pagecode

        except urllib.error.URLError as e:
            if hasattr(e,'reason'):
                print(u'连接糗百失败，错误原因',e.reason)
                return None
    #返回某页的所有段子到pagestories中
    def getPageItems(self,pageIndex):
        pageCode=self.getPage(pageIndex)
        if not pageCode:
            print('页面加载失败')
            return None
        pattern = re.compile('<div class="author clearfix">.*?<h2>(.*?)</h2>.*?<div             
        class="content".*?<span>(.*?)</span>(.*?)<div class="stats">.*?class="number">(.*?
        </i>',re.S)
        items = re.findall(pattern, pageCode)
            #用来存储每页的段子们
        pageStories=[]
            #遍历正则表达式匹配的信息
        for item in items:
                #是否含有图片
            haveImg=re.search('img',item[2])
                #如果不含有图片，把它加入到list中
            if not haveImg:
                replaceBR=re.compile('<br/>')
                    # re.sub实现正则表达式的替换，将<br/>换成'\n'
                text=re.sub(replaceBR,'\n',item[1])
                    #strip() 方法用于移除字符串头尾指定的字符（默认为空格）
                pageStories.append([item[0].strip()
                ,item[1].strip()
                ,item[3].strip()])
        return pageStories
    #把每一页的内容加到列表里，并保存页码
    def loadPage(self):
    #如果当前stories保存的页数少于2页，则加载下一页
        if self.enable==True:
            if len(self.stories)<2:#获取新一页
            pageStories=self.getPageItems(self.pageIndex)
                #将该业的段子存放到全局list中
                if pageStories:
                    self.stories.append(pageStories)
                    #获取完之后页码索引加一，表示 下次读取下一页
                    self.pageIndex+=1
    #每次敲回车打印输出一个段子
    def getOneStory(self,pageStories,page):
        #遍历一页的段子
        for story in pageStories:#story为pagestories的一个元素
            #等待用户输入
            _input_ = input()
            #每当回车一次，判断一下是否要加载新页面
            self.loadPage()
            #如果输入Q则程序结束
            if _input_=='Q':
                self.enable=False
                return
            print('第%d页\t发布人：%s\t发布内容：%s\t赞：%s\n'%(page,story[0],story[1],story[2]))
    def start (self):
        print(u'正在读取糗事百科，按回车查看新段子，Q退出')
        #使变量为True，程序可以正常运行
        self.enable=True
        #先加载一页的内容
        self.loadPage()
        #局部变量，空中当前读到了第几页
        nowPage=0
        while self.enable:
            if len(self.stories)>0:#判断stories里是否有元素
                #从全局list中获取一页的段子
                pageStories=self.stories[0]
                #当前读到的页数加一
                nowPage+=1
                #将全局list中第一个元素删除，因为已经取出
                del self.stories[0]
                #输出该页的段子
                self.getOneStory(pageStories,nowPage)#保证stories里面一直有2个元素
spider=QSBK()
spider.start()

可以实现回车一下就输出一个没有图片的段子，一页输完再输下一页；输出‘Q’则退出程序。