fiddler抓pycharm请求

1、fiddler抓包pycharm失败

原来的代码:

r = requests.post(url, data)
此时发送的请求fiddler抓取不了数据

修改为:

fiddler_proxies = {'http': 'http://127.0.0.1:8080', 'https': 'http://127.0.0.1:8080'}   # 避免fiddler抓不到请求数据而设置的   或者fiddler_proxies = {'http': 'http://127.0.0.1:8888', 'https': 'http://127.0.0.1:8888'}


r = requests.post(url, data, proxies=fiddler_proxies, verify=False)  # verify和proxies均是为了可以正常使用fiddler抓而设
再次尝试,可以正常抓包,但是有警告:InsecureRequestWarning: Unverified HTTPS request is being made to host '127.0.0.1'. Adding certificate verification is strongly advised. See

2、解决警告:InsecureRequestWarning: Unverified HTTPS request is being made to host '127.0.0.1'. Adding certificate verification is strongly advised. See

在发送请求前,添加代码,如下:

fiddler_proxies = {'http': 'http://127.0.0.1:8080', 'https': 'http://127.0.0.1:8080'}   # 避免fiddler抓不到请求数据而设置的  fiddler_proxies = {'http': 'http://127.0.0.1:8888', 'https': 'http://127.0.0.1:8888'}
# 取消警告:InsecureRequestWarning: Unverified HTTPS request is being made to host '127.0.0.1'. Adding certificate verification is strongly advised. See
     requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
r = requests.post(url, data, proxies=fiddler_proxies, verify=False)  # verify和proxies均是为了可以正常使用fiddler抓而设

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
根据Fiddler请求构造爬虫可以分为以下几个步骤: 1. 安装Fiddler并开启代理功能。在电脑上安装Fiddler,并在设置中开启代理功能,确保所有HTTP和HTTPS流量都通过Fiddler进行代理。 2. 使用浏览器访问目标网站。在浏览器中访问你要爬取的目标网站,并浏览到你要获取数据的页面。同时,Fiddler会捕捉到所有的请求和响应数据。 3. 分析包数据。打开Fiddler的会话列表,找到对应目标网站的请求记录。通过查看请求头和响应内容,了解请求的URL、请求方法、参数、Cookie信息等。还可以在Raw选项卡中查看请求和响应的原始数据。 4. 构造爬虫请求。根据分析的包数据,确定需要模拟的请求信息。例如,确定请求的URL、请求方法、请求参数等。使用编程语言(如Python)发送HTTP请求,将包数据中的请求头和请求体(如果有)添加到爬虫请求中。 5. 解析响应数据。发送请求后,获取到响应数据。根据包数据分析响应的格式(如JSON、HTML等),使用相应的解析方法将响应内容解析为可用的数据格式,如字典、列表等。 6. 处理Cookie和登录状态。如果目标网站需要登录才能获取数据,可以通过查看包数据中的Cookie信息,将其添加到爬虫请求请求头中。同时,需要处理登录操作,确保爬虫在每次请求时都以登录状态进行访问。 需要注意的是,爬虫的使用必须遵守法律和网站的使用规则。在编写爬虫时,应尊重网站的robots.txt文件,避免对网站造成过大的负担,并避免未经授权地使用和传播爬取到的数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值