我在工作中使用的影刀 - python爬虫与影刀数据处理的故事

在这里插入图片描述

今天,领导找到我,说到这么一个事情

领导:“哎呀,小王,我们之前找其他公司做的爬虫,出来的数据老是乱啊,你有什么办法可以把加工厂一些数据过滤出来然后提取出来吗?”

我:“好吧,我试试”

在这里插入图片描述


这个“困难”的开始,就从此诞生了…

在拿到我们的python爬虫时,我发现这个爬虫是人工输入一些字符串来判定爬取范围的,并且会根据命名规则,创建不同的表格

而且我们的数据还有实时性,每次使用时,必须“现场爬取、现场使用”。

所以催生出了这个需求,当然,这难倒不了我!

在这里插入图片描述


首先,我们魔改python爬虫,将里面的固定字段进行修改,通过执行日期算出我们想要的确切时间范围,并修改部分代码,将固定时间的数据取出。

修改前 ↓
在这里插入图片描述
在这里插入图片描述

修改后 ↓

在这里插入图片描述

然后,我们打开影刀,将python逻辑直接写入我们的影刀python执行中!
在这里插入图片描述

接下来,我们通过计算时间,找到对应路径下的excel文件

在这里插入图片描述

通过影刀代码判断,筛选出我们需要的数据
在这里插入图片描述

再打开我们的目标文件,将我们的数据写入对应的单元格中
在这里插入图片描述

完成!成功用影刀做好了一个数据筛选!So Easy~

领导终于可以查看到直观的数据了~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值