把request.get返回值转成scrapy.response

把request.get返回值转成scrapy.response

响应子类

TextResponse对象

TextResponse对象向基Response类添加编码能力 ，这意味着仅用于二进制数据，例如图像，声音或任何媒体文件。

参数：

• encoding（string） - 是一个字符串，包含用于此响应的编码。如果你创建一个TextResponse具有unicode主体的对象，它将使用这个编码进行编码（记住body属性总是一个字符串）。如果encoding是None（默认值），则将在响应标头和正文中查找编码。 TextResponse除了标准对象之外，对象还支持以下属性Response
• text - 响应体，如unicode。
• body_as_unicode() - 同样text，但可用作方法。保留此方法以实现向后兼容; 请喜欢response.text

HtmlResponse对象

本HtmlResponse类的子类，TextResponse 这增加了通过查看HTML编码自动发现支持META HTTP-EQUIV属性。见TextResponse.encoding。

XmlResponse对象

本XmlResponse类的子类，TextResponse这增加了通过查看XML声明线路编码自动发现支持。见TextResponse.encoding

实例代码

url = 'https://www.baidu.com/"
res = requests.get(url,headers=self.headers)
response=HtmlResponse(url=page_url,body=res.text,encoding='utf-8')
复制代码

以上的response，是可以使用selector[xpath,css]