fiddler抓包 手机添加代理后无法访问网页

(1)打开注册表,在HKEY_CURRENT_USER\SOFTWARE\Microsoft\Fiddler2下创建一个DWORD,值设置为80(十进制)

(2)在Fiddler中,点击Rules > Customize Rules,用ctr+f查找到OnBeforeRequest方法添加一行代码
if (oSession.host.toLowerCase() == “webserver:8888”)
{
oSession.host = “webserver:80”;
}
(3)如果只能访问http,不能访问https
1.手机访问Fiddler的代理IP+端口
2.点击网页中的链接,安装弹出来的证书

另、Fiddler手机抓包
①启动Fiddler, 打开菜单栏中的 Tools > Options, 打开“FiddlerOptions” 对话框

②在“Fiddler Options”对话框切换到“Connections” 选项卡, 然后勾选“Allowromote computers to connect” 后面的复选框, 然后点击“OK” 按钮

③在本机命令行输入: ipconfig, 找到本机的ip地址。

④打开android设备的“设置” ->“WLAN”,找到你要连接的网络,然后勾选“显示高级选项”

⑤在“代理” 后面的输入框选择“手动”,在“代理服务器主机名”后面的输入框输入电脑的ip地址,在“代理服务器端口”后面的输入框输入8888, 然后点击“保存” 按钮

根据Fiddler抓包请求构造爬虫可以分为以下几个步骤: 1. 安装Fiddler并开启代理功能。在电脑上安装Fiddler,并在设置中开启代理功能,确保所有HTTP和HTTPS流量都通过Fiddler进行代理。 2. 使用浏览器访问目标网站。在浏览器中访问你要爬取的目标网站,并浏览到你要获取数据的页面。同时,Fiddler会捕捉到所有的请求和响应数据。 3. 分析抓包数据。打开Fiddler的会话列表,找到对应目标网站的请求记录。通过查看请求头和响应内容,了解请求的URL、请求方法、参数、Cookie信息等。还可以在Raw选项卡中查看请求和响应的原始数据。 4. 构造爬虫请求。根据分析的抓包数据,确定需要模拟的请求信息。例如,确定请求的URL、请求方法、请求参数等。使用编程语言(如Python)发送HTTP请求,将抓包数据中的请求头和请求体(如果有)添加到爬虫请求中。 5. 解析响应数据。发送请求后,获取到响应数据。根据抓包数据分析响应的格式(如JSON、HTML等),使用相应的解析方法将响应内容解析为可用的数据格式,如字典、列表等。 6. 处理Cookie和登录状态。如果目标网站需要登录才能获取数据,可以通过查看抓包数据中的Cookie信息,将其添加到爬虫请求的请求头中。同时,需要处理登录操作,确保爬虫在每次请求时都以登录状态进行访问。 需要注意的是,爬虫的使用必须遵守法律和网站的使用规则。在编写爬虫时,应尊重网站的robots.txt文件,避免对网站造成过大的负担,并避免未经授权地使用和传播爬取到的数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值