使用fiddler模拟http请求

http://www.cnblogs.com/zhuqil/archive/2011/10/11/2206918.html

概述 

   与httpwath相比,fiddler能模拟http请求、能断点调试、http分析统计吸引了我,使用之后感觉这个工具非常不错,这篇文章只单介绍一下fiddler工作原理,简单介绍一下它的重要功能,以及如何使用使用fiddler模拟http请求,满足移动服务端开发人员调试的问题。对于其他的功能大家可以自己研究一下。

fiddler工作原理:

    当你启动了Fiddler,程序将会把自己作为一个微软互联网服务的系统代理。作为系统代理,所有的来自微软互联网服务(WinInet)的http请求再到达目标Web服务器的之前都会经过Fiddle,同样的,所有的Http响应都会在返回客户端之前流经Fiddler。如下图:

fiddler重要功能:

1、HTTP统计视图:用来分析http请求,如下图的83个http请求:

2、用Fiddler来调试:当你在软件的菜单rules—automatic breakpoints选项选择beforerequest,或者当这些请求或响应属性能够跟目标的标准相匹配,Fiddler就能够暂停Http通讯,允许修改请求和响应。这个个vs的断点调试一样,相当实用。

比如说:我请求login。在提交到服务器之前,可以暂停请求,强制修改httphead,如下图:

然后点击运行到完成:

3、Fiddler 扩展:fiddler是用.net开发的,可以使用脚本和.net语言扩展fiddler。

使用Request Builder模拟http请求

对于移动服务端开发人员来说,使用这个工具模拟移动客户端请求是非常方便的。

get请求:

下拉框中选择GET,输入请求的地址,输入Request Headers。Request Headers是键值对的格式,用:隔开。点击执行。

在中可以看到相应的结果:

Post请求:对于post请求,需要输入Reuqest Body。而Request Body 默认情况是隐藏起来的。按下面步骤点击显示出Reuqest Body。

1、点击Options。

2、点击Tear off,如下图。

点击执行,就可以模拟post请求了。

总结:本文简单介绍了一下fiddler的原理,重要的功能,以及移动服务端开发人员如何模拟http请求,方便自己调试代码。

本文参考:HTTP调试工具:Fiddler介绍一(翻译)

作者:朱祁林 出处:http://zhuqil.cnblogs.com 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
根据Fiddler抓包请求构造爬虫可以分为以下几个步骤: 1. 安装Fiddler并开启代理功能。在电脑上安装Fiddler,并在设置中开启代理功能,确保所有HTTP和HTTPS流量都通过Fiddler进行代理。 2. 使用浏览器访问目标网站。在浏览器中访问你要爬取的目标网站,并浏览到你要获取数据的页面。同时,Fiddler会捕捉到所有的请求和响应数据。 3. 分析抓包数据。打开Fiddler的会话列表,找到对应目标网站的请求记录。通过查看请求头和响应内容,了解请求的URL、请求方法、参数、Cookie信息等。还可以在Raw选项卡中查看请求和响应的原始数据。 4. 构造爬虫请求。根据分析的抓包数据,确定需要模拟的请求信息。例如,确定请求的URL、请求方法、请求参数等。使用编程语言(如Python)发送HTTP请求,将抓包数据中的请求头和请求体(如果有)添加到爬虫请求中。 5. 解析响应数据。发送请求后,获取到响应数据。根据抓包数据分析响应的格式(如JSON、HTML等),使用相应的解析方法将响应内容解析为可用的数据格式,如字典、列表等。 6. 处理Cookie和登录状态。如果目标网站需要登录才能获取数据,可以通过查看抓包数据中的Cookie信息,将其添加到爬虫请求的请求头中。同时,需要处理登录操作,确保爬虫在每次请求时都以登录状态进行访问。 需要注意的是,爬虫的使用必须遵守法律和网站的使用规则。在编写爬虫时,应尊重网站的robots.txt文件,避免对网站造成过大的负担,并避免未经授权地使用和传播爬取到的数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值