爬虫的一些工具(二)

1. 常有的工具

     (1). python
 
     (2). pycharm
 
     (3).浏览器
          i.chrome
          ii.火狐
 
      (4).fiddler的使用

 

2 fiddler的使用

    (1).操作界面

 

  

  (2)界面含义
          请求(Request)部分详解
名称
含义
Headers
显示客户端发送到服务器的 HTTP 请求的,header 显示为一个分级视图,包含了 Web 客户端信息、Cookie、传输状态等
Textview
显示 POST 请求的 body 部分为文本
WebForms
显示请求的 GET 参数 和 POST body 内容
HexView
用十六进制数据显示请求
Auth
显示响应 header 中的 Proxy-Authorization(代理身份验证) 和 Authorization(授权) 信息
Raw
将整个请求显示为纯文本
JSON
显示JSON格式文件
XML
如果请求的 body 是 XML格式,就是用分级的 XML 树来显示它

     

     响应(Response)部分详解

名称
含义
Transformer
显示响应的编码信息
Headers
用分级视图显示响应的 header
TextView
使用文本显示相应的 body
ImageVies
如果请求是图片资源,显示响应的图片
HexView
用十六进制数据显示响应
WebView
响应在 Web 浏览器中的预览效果
Auth
显示响应 header 中的 Proxy-Authorization(代理身份验证) 和 Authorization(授权) 信息
Caching
显示此请求的缓存信息
Privacy
显示此请求的私密 (P3P) 信息
Raw
将整个响应显示为纯文本
JSON
显示JSON格式文件
XML
如果响应的 body 是 XML 格式,就是用分级的 XML 树来显示它
  (3)设置
         3.1- 启动Fiddler,打开菜单栏中的Tools>Options,打开"Fiddler Options"对话框
    

    3.2.-设置

  • Capture HTTPS CONNECTs 捕捉HTTPS连接
  • Decrypt HTTPS traffic 解密HTTPS通信
  • Ignore server certificate errors 忽略服务器证书错误
  • all processes 所有进程
  • browsers onlye 仅浏览器
  • nono- browsers only 仅非浏览器
  • remote clients only 仅远程链接

 

 

     .Trust Root Certificate(受信任的根证书) 配置Windows信任这个根证书解决安全警告

 

 

  • Allow remote computers to connect 允许远程连接
  • Act as system proxy on startup 作为系统启动代理
  • resuse client connections 重用客户端链接

 

  (4)捕获链接(抓包)
          4.1安装SwitchyOmega 代理管理 Chrome 浏览器插件
          4.2设置代理 

 

 

 

 

posted on 2018-07-05 09:35  鸣谦贞吉 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/mingqian/p/9266600.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值