Scrapy框架入门

一、Scrapy简介

Scrapy是一款快速而强大的web爬虫框架，基于Twisted的异步处理框架、Twisted是事件驱动的。

Scrapy是由python实现的爬虫框架：架构清晰、可扩展性强、可以灵活完成需求。

一、Scrapy应用

scrapy及其他模块的安装

pip3 install scrapy

pip3 install wheel

pip3 install pywin32

        安装Scrapy之后，你可以使用scrapy startproject命令来创建一个新的Scrapy项目。例如，如果你想创建一个名为scrapydemo的项目，你可以运行

scrapy startproject scrapydemo

这个命令会生成一个名为scrapydemo的目录，该目录的结构大致如下：

myproject/  
    scrapy.cfg            # 项目的配置文件  
    myproject/            # 项目的Python模块，将会从这里引用代码  
        __init__.py  
        items.py          # 项目中的item文件  
        middlewares.py    # 项目中的middlewares文件  
        pipelines.py      # 项目中的pipelines文件  
        settings.py       # 项目的设置文件  
        spiders/          # 放置spider代码的目录  
            __init__.py

创建好项目之后接着创建爬虫文件，例如我们爬取以下网站 Quotes to Scrapehttps://quotes.toscrape.com/

在终端继续输入以下代码：

cd scrapydemo

scrapy genspider quotes quotes.toscrape.com

接下来就要配置项目文件...请移步主页