百看不如一练，Python爬虫之Scrapy框架爬虫实战！

Python爬虫之Scrapy框架爬虫实战

Python爬虫中Scrapy框架应用非常广泛，经常被人用于属于挖掘、检测以及自动化测试类项目，为啥说Scrapy框架作为半成品我们又该如何利用好呢 ？下面的实战案例值得大家看看。

目录：

1、Scrapy框架之命令行

2、项目实现

Scrapy框架之命令行

Scrapy是为持续运行设计的专业爬虫框架，提供操作的Scrapy命令行。

Scrapy爬虫的常用命令：

scrapy<command\>\[option\]\[args\]#command为Scrapy命令

常用命令：（图1）

至于为什么要用命令行，主要是我们用命令行更方便操作，也适合自动化和脚本控制。至于用Scrapy框架，一般也是较大型的项目，程序员对于命令行也更容易上手。

首先介绍一下相关文件的作用，方便我们到时候修改相关代码。

scrapy.cfg：部署Scrapy爬虫的配置文件

demo：Scrapy框架的用户自定义Python代码

其中，在项目文件根目录里面的demo文件中，有如下文件以及相关的作用：

__init__.py：初始化脚本