Scrapy入门教程

Scrapy入门教程

---

前言

Scrapy是最经典的python爬虫框架之一，使用Scrapy框架可以有效减少爬虫开发的工作量，帮助开发者快捷的建立一个功能强大的爬虫项目。本文通过一个简单的实例，讲解了Scrapy开发运用的全过程，希望能够对初学者有一定的参考价值。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、安装Scrapy

pip安装即可

pip install Scrapy

检验安装是否成功：

Scrapy

二、创建一个Scrapy项目

1.进入需要创建项目的目录

代码如下（示例）：

cd E://Scrapy_demo

2.新建一个Scrapy项目

代码如下（示例）：

Scrapy startproject demo_1

Scrapy startproject 后接项目名称（此处为demo_1)

---

3.项目目录下各文件作用

• demo_1/scrapy.cfg：项目配置文件,主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
• demo_1/demo_1：该项目的python模块，之后将在此加入代码
• • demo_1/demo_1/spyder：放置spyder代码的目录，爬虫目录，如：创建文件，编写爬虫规则
• • demo_1/demo_1/items.py：该项目的item文件,设置数据存储模板，用于结构化数据
• • demo_1/demo_1/middlewares.py：中间件，用于数据的定制化处理，辅助开发
• • demo_1/demo_1/pipelines.py：数据处理行为，如：一般结构化的数据持久化
• • demo_1/