Scrapy.http.Request 是处于 Scrapy 框架内的一个类对象,需要在 Scrapy 框架内使用。
requests.request 是独立的 requests 库的 api。
如果想要下载一个链接,获得 html 内容,用 requests.request 方法比较方便,返回一个 requests.models.Response 对象,html 内容在 response.text 中.
例子:
from requests import request
import json
header = {
"USER_AGENT": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36",}
response = request(url="https://c0.3.cn/stock?skuId=46551113620&area=19_1601_3634_0&cat=9987,653,655",
headers=header, method="GET")
print(type(response)) # <class 'requests.models.Response'>
text = json.loads(response.text)
print(response.text)
response.text 是 Json 格式,所以要用 json.loads(),才能把 json 格式转为 python 识别的格式。