ebay 图片链接 html,ebay

本文介绍使用八爪鱼爬虫软件抓取ebay网站图片的方法:可以将网页中图片的URL采集下来,再通过八爪鱼专用的图片批量下载工具,将采集到的图片URL中的图片,下载并保存到本地电脑中。

采集网站:

https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2050601.m570.l1313.TR0.TRC0.H0.Xnike.TRS0&_nkw=nike&_sacat=0

本文仅以nike关键词搜索结果页举例说明,大家在抓取ebay图片的时候,如果有其他需求,可以更换关键词搜索结果页进行采集。

采集内容:ebay商品图片url,ebay商品标题。

使用功能点:

l分页列表信息采集

l执行前等待

l图片URL转换

步骤1:创建采集任务

1)进入主界面,选择“自定义采集”

c9d35ea8aa940a4356c30f9c731ae8a6.png

ebay爬虫数据采集步骤1

2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”

1565a08d464348340ab168a93eb73d8e.png

ebay爬虫数据采集步骤2

3)系统自动打开网页,红色方框中的图片是这次演示要采集的内容

80b72af3cd06ac3381c09239e365d3e0.png

ebay爬虫数据采集步骤3

步骤二:创建翻页循环

1)点击右上角的“流程”,即可以看到配置流程图。将页面下拉到底部,找到下一页的大于号标志按钮,鼠标点击,在右侧操作提示框中,选择“循环点击单个链接”

43daa6763e5d5dc983650a7d17622cb1.png

ebay爬虫数据采集步骤4

由于该网页每次翻页 网址随之变化,所以不是ajax页面,不需要设置ajax。如果有网站每次翻页,网址不变,则需要在高级选项设置ajax加载。

步骤三:图片链接地址采集

1)选中页面内第一个图片,系统会自动识别同类图片。在操作提示框中,选择“选中全部”

2962b02526fe6bae1e2536a460971d68.png

ebay爬虫数据采集步骤5

2)选择“采集以下图片地址”

c02f274d996c2024076e02fc0685dc74.png

ebay爬虫数据采集步骤6

由左上角流程图中可见,八爪鱼对本页全部图片进行了循环,并在“提取数据”中对图片链接地址进行了提取。

此时可以用鼠标随意点击循环列表中的某一条,再点击“提取数据”,验证一下是否都有正常提取。如果有的循环项没有提取到,说明该xpath定位不准,需要修改。(多次测试,尚未发现不准情况。)

335d3abb038a6fdbaa2f9080c6e66794.png

ebay爬虫数据采集步骤7

如还想提取其他字段,如标题,可选择“提取数据”,在下方的商品列表上点击一个商品的标题,选择“采集该链接的文本”

ec61518caa76595ebd8af5c0f8ae9e6f.png

ebay爬虫数据采集步骤8

修改下字段的名称,如网页加载较慢,可设置“执行前等待”

8b21c9fa70a33c434369c52c888f8c8f.png

ebay爬虫数据采集步骤9

点击“开始采集,免费版用户点击“启动本地采集”,旗舰版用户可点击“启动云采集”

7898ddc3af6c5f708debc8de1dae088d.png

ebay爬虫数据采集步骤10

说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。

步骤四:数据采集及导出

1)采集完成后,选择导出数据

0081aae7257454a1844c1189c4a200aa.png

ebay爬虫数据采集步骤11

2)选择合适的导出方式,将采集好的数据导出

7d6d7fed84e6a788b26f2313d19dd589.png

ebay爬虫数据采集步骤12

步骤五:将图片URL批量转换为图片

经过如上操作,我们已经得到了要采集的图片的URL。接下来,再通过八爪鱼专用的图片批量下载工具,将采集到的图片URL中的图片,下载并保存到本地电脑中。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值