前嗅教你大数据：批量采集/下载网页中的图片数据

最新推荐文章于 2024-05-13 14:00:47 发布

雨霖铃儿

最新推荐文章于 2024-05-13 14:00:47 发布

阅读量2.2k

点赞数 1

分类专栏：指导性文章爬虫大数据文章标签： java 开发语言后端

本文链接：https://blog.csdn.net/u011231755/article/details/122562305

版权

爬虫同时被 3 个专栏收录

131 篇文章 3 订阅

订阅专栏

指导性文章

121 篇文章 0 订阅

订阅专栏

大数据

118 篇文章 0 订阅

订阅专栏

l 采集网站

【场景描述】采集revisionvillage网页中所有真题图片的数据。

【源网站介绍】revisionvillage，国外知名IB真题网站，每道题都有视频讲解的IB数学刷题网站。

【使用工具】前嗅ForeSpider数据采集系统，免费下载:

ForeSpider免费版本下载地址

【入口网址】https://www.revisionvillage.com/ib-math-analysis-and-approaches-hl/questionbank/number-and-algebra/sequences-and-series/

【采集内容】

采集页面中的真题图片数据。

【采集效果】如下图所示：

l 配置步骤

1. 新建采集任务

选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。

2.寻找图片链接

在浏览器中打开该页面，点击F12，选择指针后，点击页面中的图片位置，在源码中找到图片链接，如下图所示：

图片链接如下图所示：

将图片链接复制，在浏览器中打开，即为该图片页面：

3. 查找图片链接位置/规律

观察源码发现，每一个真题在源码中对应一个class，如下图所示：红框内表示真题1所对应的源码，绿框内为所有真题的源码，是从class为【et_builder_inner_content et_pb_gutters3】的子节点的下一个节点的下一个节点开始。

第一真题所对应源码打开以后，如下图所示，观察发现：图片链接的位置在该节点的子节点的下一个节点的子节点的子节点的子节点的子节点的href值。

4.数据抽取

①打开模板，新建一个数据抽取，如下图所示：

②新建数据表，具体如下图所示：

③关联数据表

④打开脚本窗口，新建数据抽取脚本。

⑤根据图片链接规律，编写脚本如下所示：

脚本文本如下所示：

var a = DOM.FindClass("et_builder_inner_content et_pb_gutters3","div");//定义a为class为【et_builder_inner_content et_pb_gutters3】的节点
var b = a.child.next.next.next;//定义b为a节点的子节点的下一个节点的下一个节点的下一个节点，即真题一所对应的源码中的位置节点
for(i=1;i<=32;i++){//写一个for循环，来获取每一个图片
record re;//返回数据固定搭配
re.id = i;//范围主键为i
var c=b.child.next.child.child.child.href;//定义c为b节点的子节点的下一个节点的子节点的子节点的子节点的href属性值，即获取到图片链接值
var doc = EXTRACT.OpenDoc(CHANN,c, "");//打开图片链接
var p=doc.GetDom().GetSource(c);//定义p为图片链接打开页面中的源码，即图片
re.pic=p;//返回p
Re.ex=“.png”;//返回后缀为.png
EXTRACT.CloseDoc(doc);//固定搭配，关闭图片链接
RESULT.AddRec(re,this.schemaid);//固定搭配，返回一个数据
b=b.next;//b为b的下一个节点，即下一个图片所对应源码的位置节点
}

⑥采集预览

发现图片都采集出来了，说明配置成功。