Excel
在实现自动化的过程中,绝大部分的数据抓取都是保存在Excel中,所以Excel的格式很重要,在进行爬取之前要确定Excel的模板,今天我们先以此模板为例
首先要进行抓取就要先打开这个指定的Excel模板文件使用命令中的打开Excel命令打开指定目录的Excel,然后由于B1这个单元格是昨天的日期所以需要一些日期操作来让这个单元格每天进行日期更新(如下图)
登入后台
登录后台可以使用影刀自带的命令(如下图)然后使用打开网页命令,通过网址来打开对应后台的网页
网页操作
登录完成之后,由于我用的是京麦所以大概页面是这样
我们在Excel中的A列就是商品的sku(商品编号),可以通过这个sku在我画红线的输入框中进行查询,但是A列中有多个sku编号,这种情况下就可以使用我们的循环Excel内容命令来循环获取A列中的sku编号,再使用网页自动化中的输入框填写命令和模拟键盘输入命令就可以实现循环的填写这个输入框。具体命令如下图
锁定web元素
到了目前这一步已经能实现自动通过Excel中的sku将单品的情况搜索出来了,如上上张图的浏览量,访客数,成交金额等数据已经出现在网页中了,这时就可以使用网页爬取命令,由于元素很多所以我们这边用获取相似元素列表这一命令
使用这一命令然后抓取其中之一的元素,如下图捕获其中之一浏览量这一元素
,再通过元素编辑器里面的捕获相似元素(如下图),
就可以实现将类似于浏览量的八个元素都进行捕获,再获取文本信息,到一个类似于Python列表里面
进行写入
由于我们上一步将需要的内容都写入到了一个类似于Python列表的数据表,下一步就是分别在对应的Excel列中将数据表中的成交金额等这一些数据填入,这时就用到了写入内容至Excel工作表这一命令(如下图),循环结束标记为结束图五网页操作中的循环Excel内容的。
到这已经将Excel中的数据通过sku编号在京东后台进行查询然后进行数据抓取再写入Excel中这一流程完成了