Python Scrapy 爬虫简单教程

导览

1. Scrapy install

2. Scrapy 项目创建

3. Scrapy 自定义爬虫类

4. Scrapy 处理逻辑

5. Scrapy 扩展

1. Scrapy install

准备知识

• pip 包管理
• Python 安装
• Xpath
• Css

Windows安装 Scrapy

$>- pip install scrapy

Linux安装 Scrapy

$>- apt-get install python-scrapy

2. Scrapy 项目创建

在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令：

$>- scrapy startproject mySpider

其中， mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，使用命令查看目录结构

$>- tree mySpider

3. Scrapy 自定义爬虫类

通过Scrapy的Spider基础模版顺便建立一个基础的爬虫。（也可以不用Scrapy命令建立基础爬虫，）

$>- scrapy genspider gzrbSpider dayoo.com

scrapy genspider是一个命令，也是scrapy最常用的几个命令之一。至此，一个最基本的爬虫项目已经建立完毕了.

文件描述：