scrapy 爬虫之初识

scrapy 爬虫简介

      Scrapy 是一个为了爬取网站数据、提取结构性数据而编写的应用框架，可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。具有扩展性强、爬取速度快、配置性好等一系列优势，另外scrapy的网上文档比较多，官网文档讲的比较详细，中文文档也不少。在所有的爬虫框架中，srapy是一款不可多得的数据爬取工具。Scrapy 的整体架构由 Scrapy 引擎（ScrapyEngine）、调度器（Scheduler）、下载器（Downloader）、爬虫（Spiders）和数据项管道（itemPipeline）5 个组件组成。图 1 展示了各个组件的交互关系和系统中的数据流。

 

scrapy 安装 

conda 安装：

conda install -c conda-forge scrapy

pip 安装：

pip install Scrapy

 安装完成后，在命令行中，输入scrapy，出现如下图示则表示安装成功：