【从零开始学爬虫】采集天堂图片网图片数据

l 采集网站

【场景描述】采集天堂图片网上的所有的风景图片数据。

【源网站介绍】

天堂图片网是一个提供丰富图片设计素材为的网站，网站内提供了清晰的图片分类，范围涵盖人物、动物、植物、商务、生活、家居、体育、交通、广告等素材图片。

【使用工具】前嗅ForeSpider数据采集系统，点击下方链接可免费下载

ForeSpider免费版本下载地址http://www.forenose.com/view/forespider/view/download.html

【入口网址】https://www.ivsky.com/tupian/fengjing_t2333/

【采集内容】

采集天堂图片网所有风景图片名称和图片。

【采集效果】如下图所示：

l 思路分析

配置思路概览：

l 配置步骤

1. 新建采集任务

选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。

2.获取分类列表链接

①点击采集预览，观察该页面链接，发现分类链接的规律为：https://www.ivsky.com/tupian/字符串

②使用地址过滤的方法，将分类链接过滤出来。

\c表示小写字母的字符串，所以设置地址过滤包含：https://www.ivsky.com/tupian/\c/

3.获取翻页&列表链接

①新建模板02，后在其下新建一个链接抽取，可修改名称为翻页链接。

②将模板01中的链接抽取，关联到模板02中。

③采集预览，观察翻页链接中均包含：

https://www.ivsky.com/tupian/字母串/index  

④如下所示设置过滤翻页地址。其中\c表是一串小写字母串

⑤翻页链接关联自身模板，在此进行如下设置。

⑥新建一个链接抽取，改名为抽取图片列表链接。

采集预览，打开图片列表链接预览界面，观察图片列表链接规律发现其规律为：

https://www.ivsky.com/tupian/一串小写字母_一串小写字母_v一串数字/

⑦其规律可表示为:https://www.ivsky.com/tupian/\c_\c_v\d/

\c:表示一个小写

4.抽取图片列表链接

①新建模板03，在该模板下新建一个数据抽取。

关联数据表

②采集预览，打开新建列表链接预览界面，观察图片列表链接规律发现其规律为：

https://www.ivsky.com/tupian/一串字母_一串字母_v一串数字/pic_一串数字.html

③以上规律可表示为：https://www.ivsky.com/tupian/\c_\c_v\d/pic_\d.html，如下图所示进行地址过滤。

5.数据抽取

①新建模板04，在其下新建一个数据抽取链接。

②将模板03的链接抽取关联至模板04,。

③新建一个数据表单，具体步骤和字段属性如下所示：

④关联表单

⑤采集预览，选择任意一条图片页链接，在浏览器中打开。

⑥在页面空白处，右键选中查看源文件。

⑦发现下图所示位置的链接即为该图片的链接，点击即进入图片页

⑧编写脚本抽取图片数据，具体操作如下：

具体脚本文本如下：

var st= DOM.GetSource().ToStr();//获取页面源码，并转化为字符串格式
var b="https:"+st.Middle("\"imgis\" src='","'");//取源码中图片链接
var doc = EXTRACT.OpenDoc(CHANN, b, "");//打开图片链接
var pic=doc.GetDom().GetSource( b);//取图片链接页面的源码，即图片
record re;//定义一个返回
re.tit=st.Middle("arctitle='","'");//取页面源码中的图片名称，并返回
re.ex=".jpg";//定义ex为jpg
re.pic=pic;//返回图片
RESULT.AddRec(re,this.schemaid);//结束

⑨采集预览，双击进入最后数据页，下图所示已经采集到图片了。

l 采集步骤

模板配置完成，采集预览没有问题后，可以进行数据采集。

①首先要建立采集数据表：

选择【数据建表】，点击【表单列表】中该模板的表单，在【关联数据表】中选择【创建】，表名称自定义，这里命名为【tiantang】（注意命名不能用数字和特殊符号），点击【确定】。创建完成，勾选数据表，并点击右上角保存按钮。

②选择【数据采集】，勾选任务名称，点击【开始采集】，则正式开始采集。

③采集及导出数据如下所示：

 

*本教程仅供学习交流，严禁用于商业用途！

l 前嗅简介

前嗅大数据，国内领先的研发型大数据专家，多年来致力于大数据技术的研究与开发，自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台！