fiddler抓包日志[json解析,pandas处理]

本文介绍了如何使用fiddler抓取一个酒店APP的数据,并通过fiddlerScript设置抓取特定网站的包。接着使用Python解析保存到本地的JSON文件,采用try...except处理可能出现的解析错误。最后,利用pandas将数据导出到Excel,建议使用ANSI编码避免乱码。作者还分享了Python数据处理的心得,提倡查阅官方文档而非依赖工具书,并推荐了一个爬虫课程。
摘要由CSDN通过智能技术生成

实习公司要求抓一家酒店APP数据:
因为自己本身是做机器学习数据挖掘并不太懂前端,抓包也是刚学,思路可能有点菜
具体思路:
1,fiddler与手机联通之后【具体步骤网上很多在此不做介绍】,进入fiddler中的fiddlerScript修改OnBeforeResponse对特定的网站进行抓取包–>如下图
在这里插入图片描述
了解javascript应该可以看懂,如果小白:百度【fiddler数据包自动保存办法】
2,将保存到本地的包进行解析(python)如下图
在这里插入图片描述在这里插入图片描述
如果你想传到数据库可以单独再写命令,我打算全部整合之后,pandas里面的to_csv 导入Excel,毕竟目前数据量不算太大

注意点:保存文件的时候不要用utf8编码,不然解析出来会出现乱码情况,一般是ANSI即可,当然这可能只针对我的代码而言,另外json解析的时候总是会出错,我请教了一个大佬【用try帮我解决如上图代码,虽然我还是一脸懵逼…】

  • 3
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值