python爬虫(四):scrapy 【2. 其他重要部分】

中文文档:http://www.scrapyd.cn/doc/

 

本节包括:

1. resquest 和 response 的属性方法

2. scrapy提取信息的强大方法

 

 

request 和 response

request:

属性或方法 说明

.url Request对应的请求URL地址

.method 对应的请求方法,'GET' 'POST'等

.headers 字典类型风格的请求头

.body 请求内容主体,字符串类型

.meta 用户添加的扩展信息,在Scrapy内部模块间传递信息使用

.copy() 复制该请求

 

response:

属性或方法 说明

.url Response对应的URL地址

.status HTTP状态码,默认是200

.headers Response对应的头部信息

.body Response对应的内容信息,字符串类型

.flags 一组标记

.request 产生Response类型对应的Request对象

.copy() 复制该响应

 

 

Scrapy爬虫支持多种HTML信息提取方法:

Beautiful Soup

lxml

re

XPath Selector

CSS Selector

 

CSS Selector 由 W3C 组织维护并规范,基本使用方法:

<HTML>.css('a::attr(href)').extract()

可以参考:

http://www.scrapyd.cn/doc/146.html

http://www.scrapyd.cn/doc/185.html

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值