python爬虫scrapy步骤mac系统_python爬虫学习笔记六：Scrapy爬虫的使用步骤

步骤1：创建一个工程和Spider模板

步骤2：编写Spider

步骤3：编写Item Pipeline

步骤4：优化配置策略

Scrapy爬虫的数据类型

Request类

class scrapy.http.Request()

*Request对象表示一个HTTP请求

*由Spider生成，由Downloader执行

request类

属性或方法

说明

.url

Request对应的请求URL地址

.method

对应的请求方法，‘GET’'POST'等

.headers

字典类型风格的请求头

.body

请求内容主体，字符串类型

.meta

用户添加的扩展信息，在Scrapy内部模块间传递信息使用

.copy()

复制该请求

Response类

class scrapy.http.Response()

*Response对象表示一个HTTP响应

*由Downloader生成，由Spider处理

Response类型

属性或方法

说明

.url

Response对应的URL地址

.status

HTTP状态码，默认值是200

.headers

Response对应的头部信息

.body

Response对应的内容信息，字符串类型

.flags

一组标记

.request

产生Response类型对应的Request对象

.copy()

复制该响应

Item类

class scrapy.item.Item()

*Item对象表示一个从HTML页面中提取的信息内容

*由Spider生成，由Item Pipeline处理

*Item类似字典类型，可以按照字典类型操作

Scrapy爬虫提取信息的方法

Scrapy爬虫支持多种HTML信息提取方法

*Beautiful Soup

*lxml

*re

*XPath Selector

*CSS Selector

我们介绍一下CSS Selector信息提取方法

CSS Selector的基本使用

.CSS('a::attr(href)').extract() //通过标签名称，标签属性来设置相关信息

CSS Selector由W3C组织维护并规范