初步的了解fiddler工具的使用还有对post请求格式的初步认识
发送post请求的格式内容
1, post url 地址 协议HTTP/1.1
2, user-agent 发送头信息:头信息包含的是浏览器信息版本
3, Accept 发送包含可格式信息 例如 application/json text/javascript / 等
4, Accept-Encoding: 解压格式
5, Accept-Language:语言格式
6, X-Requested-With:” 判断是Ajax还是其他请求 如果是XMLHttpRequest 则返回的数据是json 不加则返回的是html
7, cookie 缓存信息
本地保存的cookie 包含的有
1, Name cookie的参数名称
2, Value 对应Name的参数值
3, Domain 地址
4, path 路径
5, Expires/Max-Age: cookie失效时间
6, Size 信息大小
7, HttpOnly 防XSS攻击
8, Secure cookie是否使用安全协议传输 安全协议有SSL HTTPS等 默认为False
当post 发送requset请求 将返回的response响应数据 返回的数据有img js html 等
一般通过fiddler工具可以通过pc,android,IOS等设备抓包 返回信息数据分析,信息拦截 fiddler相当一个proxy代理可以模拟发送post 拦截web服务器返回数据等
以上是针对post初步认识,了解大概内容之后 才可以更方便的使用python 进行数据爬取
经常使用的fiddler工具的功能如下:
1, 断点拦截
2, 开启HTTPS协议拦截
3, 数字签名证书安装与导出
PS:第一个导出数字签名证书到桌面
第二个是重置所有数字签名证书
4, 代理端口与开启
5, 使用user-agent
6,过滤的使用
7, 信息框的讲解
headers:头文件 包含request的头文件信息 有user-agent,Accept,cookie等信息
textview 文本视图
webForm 数据列表视图
hexview 十六进制视图
Cookies 缓存信息
Raw 原数据
JSON json数据格式视图
XML xml 格式视图