Python3 对于弱cookies登录平台的数据抓取

主要的逻辑:

main.py为主入口,然后开始从cookies_url.py内读取对于的cookies和url;
然后将返回的数据调用数据处理的函数。
数据处理时,会从biao.py内读取相应的渠道和游戏名。
最终main.py内会将处理完成后的数据写入对应时间的xls
具体的url分析
以友盟为例:
打开fiddler;
浏览器进入友盟相应游戏界面,点击昨日的按钮:
在这里插入图片描述
在这里插入图片描述
可以在fiddler里看到实际的请求链接和返回的数据。
在这里插入图片描述
然后将cookies和相应的链接填入cookies_url.py的对应字典。
同时在biao.py内将数据处理时所需要的渠道和游戏名对应填好。

简单的链接和cookies获取方式

链接获取方式

浏览器内打开对于游戏的渠道数据查看页面。F12打开调试工具。
选择network标签
在这里插入图片描述
点击昨日按钮
在这里插入图片描述
在出现的请求上右键,点击open in new tab
在这里插入图片描述
当前的链接即为实际的请求链接。

cookies获取方式

下载八爪鱼采集器
在这里插入图片描述
在这里插入图片描述
填入之前的请求链接,由于之前没有登录,会跳转至登录页面,登录后
在这里插入图片描述
在这里插入图片描述
点击打开网页重新进入链接,点击获取当前页面cookies。
在这里插入图片描述
然后点击a的标签小按钮。即可获取相应的cookies。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值