Python 爬虫框架Scrapy的安装与基本使用（入门）

什么是爬虫

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

简单来说，就是通过程序从web网页上获取自己想要的数据，即自动抓取数据。

爬虫的本质

模拟浏览器发送请求从而获取我们想要的数据。

浏览器打开网页的过程：当你在浏览器中输入地址后，通过DNS服务器将域名解析为ip地址找到服务器主机，向服务器发送一个请求，服务器接收请求处理后发送给响应给用户，浏览器接受到结果，包括html,js,css等文件内容，然后浏览器进行相应的处理，最终在页面上呈现出格式化的数据。

用户看到的浏览器的结果一般就是由HTML代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，可以从中获取我们想要的资源。

爬虫的基本流程

• 发起请求：使用HTTP协议向目标主机发起请求，可以包含额外的header等信息，等待服务器响应。
• 获取响应：如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据等类型。
• 解析内容：得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可能是Json,可以直接转换为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。
• 保存数据：保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件。

能爬取什么样的数据

• 网页文本：如HTML文档，Json格式化文本等。
• 图片：获取到的是二进制文件，保存为图片格式。
• 视频：同样是二进制文件。
• 其他：只要请求到的，都可以获取。

如何解析数据

• 直接处理
• Json解析
• 正则表达式处理
• BeautifulSoup解析处理
• PyQuery解析处理
• XPath解析处理

关于抓取的页面数据和浏览器里看到的不一样的问题

出现这种情况是因为，很多网站中的数据都是通过js，ajax动态加载的，所以直接通过请求获取的页面和浏览器显示的不同。

如何解决js渲染的问题？

• 分析ajax
• Selenium/webdriver
• Splash
• PyV8,Ghost.py

爬虫框架Scrapy的安装与基本使用

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Scrapy 使用了Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

可以参考：
https://github.com/scrapy/scrapy
https://docs.scrapy.org/en/latest/index.html
中文可以参考：
https://github.com/marchtea/scrapy_doc_chs

安装Scrapy框架

pip3 install scrapy

如果你使用anaconda，使用conda install安装：

conda install scrapy	

会问你是不是需要安装依赖的包，输入yes。

本文安装的是Scrapy 1.6.0 版本的。

创建一个scrapy项目

scrapy startproject extraction	

结果显示为：

(ContentExtractionForWebPages) :scrapy startproject extraction
New Scrapy project 'extraction', using template directory '/usr/local/anaconda3/envs/ContentExtractionForWebPages/lib/python3.8/site-packages/scrapy/templates/project', created in:
    /Users/lurongming/mygithub/ContentExtractionForWebPages/extraction

You can start your first spider with:
    cd extraction
    scrapy genspider example example.com

可以使用tree命令查看目录下都创建了哪些文件（如果需要使用tree命令，Mac 可以使用brew install tree来安装）：

(ContentExtractionForWebPages) :tree
.
└── extraction
    ├── extraction
    │   ├── __init__.py
    │   ├── __pycache__
    │   ├── items.py
    │   ├── middlewares.py
    │   ├── pipelines.py
    │   ├── settings.py
    │   └── spiders
    │       ├── __init__.py
    │       └── __pycache__
    └── scrapy.cfg

5 directories, 7 files

这些文件分别如下：

• extraction/ : 该项目的python模块，之后您将在此加入代码。
• extraction/items.py : 项目中的item文件。相当于一个容器，和字典较像。
• extraction/middlewares.py ：项目中的middlewares.py文件。定义Downloader Middlewares(下载器中间件)和Spider Middlewares(蜘蛛中间件)的实现。
• extraction/pipelines.py : 项目中的pipelines文件。定义Item Pipeline的实现，实现数据的清洗，储存，验证。
• extraction/settings.py : 项目的设置文件。
• extraction/spiders/ : 放置spider代码的目录。
• scrapy.cfg ：配置文件。

创建一个spider

这个类是用来爬取数据的，需要继承 scrapy.Spider 类。需要定义以下三种属性：

• name: 用于区别Spider。该名字必须是唯一的，不可以为不同的Spider设定相同的名字。
• start_urls: 包含了Spider在启动时进行爬取的url列表。第一个被获取到的页面将是其中之一，后续的URL则从初始的URL获取到的数据中提取。
• parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

在extraction/spiders/目录下创建一个文件，spider_demo.py：

import scrapy

class SpiderDemo(scrapy.spiders.Spider):
	name = "SpiderDemo"
	allowed_domains = ["acm.hnucm.edu.cn"]
	start_urls = [
		"http://acm.hnucm.edu.cn/JudgeOnline/problemset.php"
	]

	def parse(self, response):
        filename = "problem"
        with open(filename, 'wb') as f:
            f.write(response.body)

编辑extraction/items.py文件：

(ContentExtractionForWebPages) :vim items.py
(ContentExtractionForWebPages) :cat items.py
# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class ExtractionItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # pass
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

爬取

运行命令：

scrapy crawl SpiderDemo

如果出现”KeyError: ‘Spider not found:“错误，可能是名字写错了，本文在继承scrapy.spiders.Spider的SpiderDemo类中定义的是name属性是”SpiderDemo“：

class SpiderDemo(scrapy.spiders.Spider):
	name = "SpiderDemo"

结果如下：

(ContentExtractionForWebPages) :scrapy crawl SpiderDemo
2020-02-29 20:54:07 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: extraction)
2020-02-29 20:54:07 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.9, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.8.1 (default, Jan  8 2020, 16:15:59) - [Clang 4.0.1 (tags/RELEASE_401/final)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d  10 Sep 2019), cryptography 2.8, Platform macOS-10.15.3-x86_64-i386-64bit
2020-02-29 20:54:07 [scrapy.crawler] INFO: Overridden settings: {
   'BOT_NAME': 'extraction', 'NEWSPIDER_MODULE': 'extraction.spiders',