爬虫 - scrapy 框架 - 基本爬取流程

目录

一、项目启动

二、Item 指定对象内容 - 类比 ORM

三、Spider 爬取数据

四、执行爬虫

五、pipeline 数据数据库存储

5-1 存储

5-2 配置参数

5-3 激活管道

---

scrapy - 官方1.6版本文档

一、项目启动

scrapy 入门教程

确认环境

创建 scrapy 项目目录

进入自定义目录创建项目目录
scrapy startproject yourprojectname

 

二、Item 指定对象内容 - 类比 ORM

类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field 的类属性来定义一个 Item。

用于将数据封装成类，在其他地方进行基于类的快速调用。

import scrapy
​
class GetBabtItem(scrapy.Item):
    title = scrapy.Field()
    content = scrapy.Field()
    time = scrapy.Field()
    wherefrom = scrapy.Field()

 

三、Spider 爬取数据

Spiders/爬虫脚本.py - 制作爬虫爬取网页

注意点总结

• scrapy.Spider 类内 name 属性必须重写，且值唯一