(九)Scrapy框架(三) ？python+scrapy爬虫5小时入门

Scrapy框架(四)

Request

Scrapy.http.Request

Scrapy.http.Request类是scrapy框架中request的基类。它的参数如下：
url（字符串） - 此请求的URL
callback（callable）- 回调函数
method（string） - 此请求的HTTP方法。默认为'GET'。
meta（dict） - Request.meta属性的初始值。
body（str 或unicode） - 请求体。如果没有传参，默认为空字符串。
headers（dict） - 此请求的请求头。
cookies - 请求cookie。
encoding（字符串） - 此请求的编码（默认为'utf-8'）此编码将用于对URL进行百分比编码并将body转换为str（如果给定unicode）。
priority（int） - 此请求的优先级（默认为0）。
dont_filter（boolean） - 表示调度程序不应过滤此请求。
errback（callable） - 在处理请求时引发任何异常时将调用的函数。
flags（list） - 发送给请求的标志，可用于日志记录或类似目的。

属性和方法

url 包含此请求的URL的字符串。该属性是只读的。更改请求使用的URL replace()。
method 表示请求中的HTTP方法的字符串。
headers 类似字典的对象，包含请求头。
body 包含请求正文的str。该属性是只读的。更改请求使用的URL replace()。
meta 包含此请求的任意元数据的字典。
copy() 返回一个新的请求，该请求是此请求的副本。
replace（[ URL，method，headers，body，cookies，meta，encoding，dont_filter，callback，errback] ） 返回一个更新对的request

利用request.meta传递参数

FormRequest

get请求和post请求是最常见的请求。scrapy框架内置了一个FormRequest类
它扩展了基类Request，具有处理HTML表单的功能。

它使用lxml.html表单，来预先填充表单字段，其中包含来自Response对象的表单数据。

具体API，我们来学习源码

from_response()

参数：
response（Responseobject） - 包含HTML表单的响应
formname（string） - 如果给定，将使用name属性设置为此值的表单。
formid（string） - 如果给定，将使用id属性设置为此值的表单。
formxpath（string） - 如果给定，将使用与xpath匹配的第一个表单。
formcss（string） - 如果给定，将使用与css选择器匹配的第一个表单。
formnumber（整数） - 当响应包含多个表单时要使用的表单数。
formdata（dict） - 要在表单数据中覆盖的字段。。
clickdata（dict） - 用于查找单击控件的属性。
dont_click（boolean） - 如果为True，将提交表单数据而不单击任何元素。

豆瓣登录

看以前的·

Response

response

参数：
url（字符串） - 此响应的URL
status（整数） - 响应的HTTP状态。默认为200。
headers（dict） - 此响应的响应头。dict值可以是字符串（对于单值标头）或列表（对于多值标头）。
body（字节） - 响应主体。要将解码后的文本作为str（Python 2中的unicode）访问，您可以使用response.text来自编码感知的 Response子类，例如TextResponse。
flags（列表） - 是包含Response.flags属性初始值的列表 。如果给定，列表将被浅层复制。
request（Requestobject） - Response.request属性的初始值。这表示Request生成此响应的内容。



属性和方法：
url
status
headers
body
request
meta
flags
copy（）
replace（[ url，status，headers，body，request，flags，cls ] ）
urljoin（url ）
follow（url）

日志使用

在spider中记录

Scrapy logger 在每个Spider实例中提供了一个可以访问和使用的实例，
使用方法

在其他组件中记录

当然可以通过python的logging来记录。
比如：logging.warning('This is a warning!')

但是为了后期维护方面，我们可以创建不同的记录器来封装消息。

并且使用组件或函数的名称进行命名，见左图案例:

配置

这些设置可用于配置日志记录：

LOG_FILE		日志输出文件，如果为None，就打印在控制台
LOG_ENABLED	是否启用日志，默认True
LOG_ENCODING   	日期编码，默认utf-8
LOG_LEVEL	日志等级，默认debug
LOG_FORMAT	日志格式
LOG_DATEFORMAT	日志日期格式
LOG_STDOUT	日志标准输出，默认False，如果True所有标准输出都将写入日志中, 比如代码中的print输出也会被写入到文件.
LOG_SHORT_NAMES   短日志名，默认为False，如果True将不输出组件名

项目中一般设置：
LOG_FILE = 'logfile_name.log'
LOG_LEVEL = 'INFO'

作业

1.练习post请求登陆豆瓣.
2.设置自己的日志格式应用到案例中.

要求: 该作业不用提交.