Python Scrapy MongoDB爬虫初学小项目（豆瓣电影排名Top250）

最新推荐文章于 2024-05-22 15:20:37 发布

weixin_33943347

最新推荐文章于 2024-05-22 15:20:37 发布

阅读量965

点赞数

原文链接：https://my.oschina.net/u/2427564/blog/3002281

版权

2019独角兽企业重金招聘Python工程师标准>>>

前言

本文项目基于Windows； Navicat 12 for MongoDB（不好用，也许使用NoSQL Manager for MongoDB会更好）。

开发环境

so，本Scrapy项目，环境如下：

操作系统：Win7

开发语言及框架：Python3.7 Scrapy1.5.1

开发工具：PyCharm

数据库：MongoDB、MySQL

数据库可视化工具：Navicat 12 for MongoDB

各种安装、新建项目等请自行百度或查阅我前面的安装文档，这里只做代码记录。

本项目所实现的主要功能：

1、爬取豆瓣电影Top250的数据并存入本地MongoDB或MySQL中；

2、自定义Downloader middlewares，产生随机的USER_AGENT

Scrapy架构图

组件（白话文解释）

Scrapy Engine 引擎负责操作所有的数据流和事件，负责各个组件之间的通信和数据交换。

Spiders 包含了request、接收response后的解析、提取item等功能。简单来说数据的过滤、分析、再请求都在这个组件里。

调度器(Scheduler) 本质就是个队列。spider携带着request给引擎传递了请求之后，Scheduler负责给它们排个队，后来的spider排到队尾等着，队头的spider会被丢给引擎去执行。

下载器(Downloader) 引擎把接收到的request发给Downloader，Downloader获取页面数据再把得到的一堆东东丢回给引擎。

Item Pipeline 负责处理被spider提取出来的item。典型的处理有过滤清理、验证及持久化(例如存取到数据库中)。

下载器中间件(Downloader middlewares) 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response（也包括引擎传递给下载器的Request）。其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

一句话总结就是：处理下载请求部分，主要应用：封装代理等隐藏我们信息的地方。

Spider中间件(Spider middlewares) Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

项目目录

代码笔记

1、scrapy.cfg

[settings]
default = Scrapy_DoubanMoviesTop250.settings

[deploy]
project = Scrapy_DoubanMoviesTop250

settings：项目配置文件

deploy：项目别名

2、settings.py（节选）

# -*- coding: utf-8 -*-

# 设置导出编码格式为utf-8
FEED_EXPORT_ENCODING = 'utf-8'

BOT_NAME = 'Scrapy_DoubanMoviesTop250'

SPIDER_MODULES = ['Scrapy_DoubanMoviesTop250.spiders']
NEWSPIDER_MODULE = 'Scrapy_DoubanMoviesTop250.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 0.5
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
    'Scrapy_DoubanMoviesTop250.middlewares.my_useragent': 543
}

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'Scrapy_DoubanMoviesTop250.pipelines.ScrapyDoubanmoviestop250Pipeline': 300,
}

# MongoDB设置
mongo_host = '127.0.0.1'
mongo_port = 27017
mongo_db_name = 'douban'
mongo_db_collection = 'douban_movie'

# mysql设置
mysql_host = '127.0.0.1'
mysql_port = 3306
mysql_user = 'root'
mysql_password = '123456'
mysql_db_name = 'scrapy_douban'

以下是对上述代码的拆分解释：

（1）导出格式编码声明：

# 设置导出编码格式为utf-8
FEED_EXPORT_ENCODING = 'utf-8'

（2）USER_AGENT改为自己浏览器的值，F12直接看就好

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'

PS：为什么修改USER_AGENT？

大多数情况下，网站都会根据我们的请求头信息来区分你是不是一个爬虫程序，如果一旦识别出这是一个爬虫程序，很容易就会拒绝我们的请求，因此我们需要给我们的爬虫手动添加请求头信息，来模拟浏览器的行为。

（3）设置不遵守robots.txt规则

ROBOTSTXT_OBEY = False

PS：robots.txt规则是个什么东东？

robots.txt 是遵循 Robot协议的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望你进行爬取收录。在Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。

当然，我们并不是在做搜索引擎，某些情况下我们想要获取的内容恰恰是被 robots.txt 禁止访问的，这个时候，我们就要将此配置项设置为 False ，拒绝遵守 Robot协议。

（4）下载延迟设置为0.5

DOWNLOAD_DELAY = 0.5

对单个IP进行并发请求的最大值，默认是0，单位是秒。注意：设置太大，大规模抓取等待时间过长，设置太小，短时间增大服务器负载，会被咔嚓。

（5）自定义Downloader middlewares，产生随机USER_AGENT

DOWNLOADER_MIDDLEWARES = {
    # 这里的My_useragent就是你自定义的中间件名称，543表示执行顺序，越大的越往后执行，默认从543开始
    'Scrapy_DoubanMoviesTop250.middlewares.my_useragent': 543
}

白话文解释：网站是根据请求头信息来区分爬虫程序的，当我们大量爬取同一个网站的数据，一直使用同一个请求头可能会被抓包然后咔嚓掉，所以可以搞一个随机生成USER_AGENT的中间件更好地隐藏自己。

（6）开启ITEM_PIPELINES，默认即可

ITEM_PIPELINES = {
   'Scrapy_DoubanMoviesTop250.pipelines.ScrapyDoubanmoviestop250Pipeline': 300,
}

要持久化数据你不开试试？

（7）MongoDB设置

# MongoDB设置
mongo_host = '127.0.0.1'
mongo_port = 27017
mongo_db_name = 'douban'
mongo_db_collection = 'douban_movie'

（8）MySQL设置

# mysql设置
mysql_host = '127.0.0.1'
mysql_port = 3306
mysql_user = 'root'
mysql_password = '123456'
mysql_db_name = 'scrapy_douban'

3、items.py

写spider之前，你得先弄清楚你需要哪些数据？items.py就是你声明自己所需的数据名字的地方。

import scrapy

class ScrapyDoubanmoviestop250Item(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 排名
    serial_number = scrapy.Field()
    # 电影名称
    movie_name = scrapy.Field()
    # 介绍
    introduction = scrapy.Field()
    # 评分
    score = scrapy.Field()
    # 评论数
    evaluation = scrapy.Field()
    # 电影描述
    description = scrapy.Field()

4、douban_spider.py

# -*- coding: utf-8 -*-
import scrapy
from Scrapy_DoubanMoviesTop250.items import ScrapyDoubanmoviestop250Item

class DoubanSpiderSpider(scrapy.Spider):
    # 爬虫名字 和项目名不可重复
    name = 'douban_spider'
    # 允许的域名
    allowed_domains = ['movie.douban.com']
    # 入口url，扔到调度器Scheduler里面去
    start_urls = ['http://movie.douban.com/top250']

    # spider默认解析方法。
    # 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。
    def parse(self, response):
        # 获取电影条目
        movie_list = response.xpath("//div[@class='article']/ol[@class='grid_view']/li")
        for movie_item in movie_list:
            item = ScrapyDoubanmoviestop250Item()
            # 写详细的xpath，进行数据解析
            item['serial_number'] = movie_item.xpath(".//div[@class='item']//em/text()").extract_first()
            item['movie_name'] = movie_item.xpath(".//div[@class='info']//div[@class='hd']//a//span[1]/text()").extract_first()
            # 页面多行数据的处理
            introduction_list = movie_item.xpath(".//div[@class='info']//div[@class='bd']//p[1]/text()").extract()
            for introduction in introduction_list:
                item['introduction'] = "".join(introduction.split())
            item['score'] = movie_item.xpath(".//span[@class='rating_num']/text()").extract_first()
            item['evaluation'] = movie_item.xpath(".//div[@class='star']//span[4]/text()").extract_first()
            item['description'] = movie_item.xpath(".//p[@class='quote']//span/text()").extract_first()
            # 将数据yield到pipline里去，进行数据清洗、存储等操作
            yield item

        # 解析下一页，获取下一页的xpath
        next_link = response.xpath("//span[@class='next']//link/@href").extract()
        if next_link:
            next_link = next_link[0]
            yield scrapy.Request("http://movie.douban.com/top250"+next_link, callback=self.parse)

嗯。。。学完了纯python的爬取之后，学习这个代码压力应该不大。看到这个下一页的声明，也能够理解调度器Scheduler的作用了。

5、数据持久化操作

写完douban_spider.py之后，其实就可以拿到数据了，你可以选择导出数据文件，也可以将数据存入数据库中。

注意：可在settings.py中配置导出文件编码方式为utf-8，尽量避免乱码问题。

1、保存数据为.json或.csv文件

进入项目中的spiders文件夹中，输入命令：

scrapy crawl 你在spider文件中定义的爬虫名字 -o 文件名称.json

例：scrapy crawl douban_spider -o movies.json，在当前文件夹中导出。

2、保存至MongoDB中

打开pipelines.py，初始化数据库连接并插入数据，代码如下：

# -*- coding: utf-8 -*-
import pymongo
from Scrapy_DoubanMoviesTop250.settings import mongo_host, mongo_port, mongo_db_name, mongo_db_collection

class ScrapyDoubanmoviestop250Pipeline(object):
    def __init__(self):
        # 获取数据库配置信息
        host = mongo_host
        port = mongo_port
        db_name = mongo_db_name
        db_collection = mongo_db_collection

        # 获取数据库连接
        get_connection = pymongo.MongoClient(host=host, port=port)
        # 在连接中拿到数据库信息
        local_db = get_connection[db_name]
        # 得到集合信息
        self.post = local_db[db_collection]

    def process_item(self, item, spider):
        data = dict(item)
        self.post.insert(data)
        return item

2、保存至MySQL中

打开pipelines.py，初始化数据库连接并插入数据，代码如下：

# -*- coding: utf-8 -*-
import pymysql
from Scrapy_DoubanMoviesTop250.settings import mysql_host, mysql_port, mysql_user, mysql_password, mysql_db_name

class ScrapyDoubanmoviestop250Pipeline(object):
    # 连接数据库：
        self.connect = pymysql.connect(
            host=mysql_host,
            port=mysql_port,
            user=mysql_user,
            password=mysql_password,
            database=mysql_db_name,
            charset='utf8',
            use_unicode=True
        )

        # 通过cursor进行增删改查
        self.cursor = self.connect.cursor()

    def process_item(self, item, spider):
        insert_sql = """insert into douban_movie(serial_number, movie_name, introduction, score, evaluation, description) values (%s, %s, %s, %s, %s, %s)"""
        self.cursor.execute(insert_sql, (item['serial_number'], item['movie_name'], item['introduction'], item['score'], item['evaluation'], item['description']))
        self.connect.commit()
        return item

    def close_spider(self, spider):
        self.cursor.close()
        self.connect.close()

这里再次声明一下：settings.py中必须开启ITEM_PIPELINES，否则scrapy可不会智能地帮你开启连接数据库的管道的喔！详见文中代码笔记——2、settings.py（节选）—— （6）开启ITEM_PIPELINES，默认即可。

到此，基本上这个项目的目的也就完成了：使用Scrapy框架抓取数据并存储到MongoDB或MySQL中。

6、随机User_Agent中间件示例

用途：详见文中代码笔记——2、settings.py（节选）—— （2）USER_AGENT改为自己浏览器的值，F12直接看就好、（5）自定义Downloader middlewares，产生随机USER_AGENT。

打开middlewares.py，在已有代码后追加一个新的类My_useragent：

class My_useragent(object):
    def process_request(self, request, spider):
        USER_AGENT_LIST = [
            'MSIE (MSIE 6.0; X11; Linux; i686) Opera 7.23',
            'Opera/9.20 (Macintosh; Intel Mac OS X; U; en)',
            'Opera/9.0 (Macintosh; PPC Mac OS X; U; en)',
            'iTunes/9.0.3 (Macintosh; U; Intel Mac OS X 10_6_2; en-ca)',
            'Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)',
            'iTunes/4.2 (Macintosh; U; PPC Mac OS X 10.2)',
            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0',
            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0',
            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0',
            'Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)',
            'Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)'
        ]
        request.headers['User_Agent'] = random.choice(USER_AGENT_LIST)

这个函数process_request(self, request, spider)并不是自己写的，是下载器中间件Downloader middlewares自带的方法，每一个request对象都会经过该方法。当然还有process_response(self, request, response, spider)，当下载器完成请求后，返回response给引擎的时候调用。

这里的USER_AGENT_LIST可以自己去网上百度一个，看心情写。

最后，别忘了去settings.py中配置一下DOWNLOADER_MIDDLEWARES。

贴上我的配置：

DOWNLOADER_MIDDLEWARES = {
    # 这里的My_useragent就是你自定义的中间件名称，543表示执行顺序，越大的越往后执行，默认从543开始
    'Scrapy_DoubanMoviesTop250.middlewares.My_useragent': 543
}

7、模拟main方法

如果你不满于每次执行.py文件都需要输入命令，也可以在项目中这么做：

在项目根目录下新建main.py，输入以下代码，不需要手动配置，直接右键Run 'main'即可，PyCharm会帮你配置好的。

from scrapy import cmdline
cmdline.execute('scrapy crawl douban_spider'.split())

嗯，抄代码是很简单的，真正地去理解把它融入为自己的还需要一段时间。本篇笔记是学习之后的整理，其实非常像流水账，我中间遇到的问题也没有记录，Navicat的使用也没有记录，个人非常不喜欢但也不想再重做了。年前Python的学习时间还很充裕，之后会边学边写笔记的，一整套流程按发展的步骤详细地记录下来。Over~

转载于:https://my.oschina.net/u/2427564/blog/3002281