python爬虫爬取糗事百科的段子

问题场景

之后的项目需要爬虫抓取一些信息，找个例子练练手，特此记录。

环境介绍

Windows
Python2.7
IDEA15

通用抓取流程

本文思路

1、给爬虫一个目标即网页地址及参数
2、设置一些必要的参数
3、抓取网页源代码
4、提取数据
5、保存数据（本文是保存在文件里，多数是存在数据库里）

目标

CODE

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

import urllib2
import re
import os


class Spider:
    # 构造方法
    def __init__(self, url, headers):
        self.url = url
        self.headers = headers

    def spider(self, page, pattern):
        # 一共13页
        for i in range(1, page):
            # 抓取过程
            # 1、访问其中一个网页，抓取源代码
            try:
                request = urllib2.Request(url=self.url % str(i), headers=self.headers)
                response = urllib2.urlopen(request)
                content = response.read()
            except urllib2.HTTPError as e:
                print e
                exit()
            except urllib2.URLError as e:
                print e
                exit()
            # 2、提取你的数据
            regex = re.compile(pattern, re.S)
            items = re.findall(regex, content)
            # 3、保存数据
            path = 'qiubai'
            if not os.path.exists(path):
                os.makedirs(path)
            file_path = path + "/qiubai" + str(i) + ".txt"
            file = open(file_path, 'w')
            for item in items:
                # 把\n去掉，<br/>换成\n
                item = item.replace('\n', '').replace('<br/>', '\n')
                item += "\n\n"
                file.write(item)

            file.close()


if __name__ == '__main__':
    url = 'https://www.qiushibaike.com/text/page/%s/'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36'}
    # 结合你的网页写表达式
    pattern = '<div class="content">.*?<span>(.*?)</span>.*?</div>'
    s = Spider(url, headers)
    s.spider(14, pattern)

结果截图

结果文件夹

结果文件