浏览器查看request参数和response参数

-------------- Ajax方式请求 --------------
1、按快捷键F12进入浏览器的开发者调试模式【这里以谷歌浏览器为例】


2、选中【NetWork】-->【XHR】(当然读者可以查看其它信息可以选中其它例如:All、JS、CSS、Img...)


3、请求参数:查看顺序 

  【(alter)的接口】 --> 【Headers】-->【Request PayLoad(有两种查看方式:vive source(符合json数据格式,可以直接copy用PostMan调用)和vive parsed)】

4、返回参数
  【(alter)的接口】 --> 【Response】


5、Cookies
  【(alter)的接口】 --> 【Cookies】

 


6、...
  

 

 

在Scrapy中,一旦HTTP请求发出并接收了响应,`Response`对象就已经生成。如果你想修改响应的一些参数,通常是在中间件或解析器阶段进行。但是,直接修改原始的`Response`对象可能会导致预期之外的行为,因为这些对象通常是不可变的,也就是说它们不能被改变,而只能返回新的`Response`实例。 然而,有些参数是可以改变的,比如: 1. **`status`**: 可能你想设置错误状态码作为模拟。可以通过`raise Scrapy.RequestError(response)`,然后传递自定义的状态码来实现。 ```python def process_exception(self, request, exception, spider): if isinstance(exception, SomeException): # 自定义异常 new_response = request.response.replace(status=404) # 设置为404状态码 raise Scrapy.RequestError(new_response) ``` 2. **`headers`**: 你可以修改响应头信息,比如添加自定义的User-Agent: ```python def process_request(self, request, spider): if 'custom_header_key' not in request.headers: request.headers['Custom-Header'] = 'your_value' ``` 3. **`cookies`**: 如果需要添加或更新cookies,可以这样做: ```python def process_response(self, request, response, spider): cookies_to_add = {'cookie_name': 'cookie_value'} response = response.replace(cookies=[(key, value) for key, value in cookies_to_add.items()]) return response ``` 不过需要注意的是,这些改动通常是为了特殊场景,正常情况下的HTTP响应参数更改应由服务器端控制。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ljt-tiger

thanks

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值