【从零开始学爬虫】采集易贝（ebay）商品信息

l 采集网站

【场景描述】采集易贝（ebay）中某一类别的所有商品信息。

【源网站介绍】易贝（eBay）是一个可让全球民众上网买卖物品的线上拍卖及购物网站。ebay于1995年9月4日由Pierre Omidyar以Auctionweb的名称创立于加利福尼亚州圣荷西。人们可以在ebay上通过网络出售商品。

【使用工具】前嗅ForeSpider数据采集系统，点击下方链接可免费下载：

http://www.forenose.com/view/forespider/view/download.html

【入口网址】https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958

【采集内容】

采集易贝（ebay）中的所有男装商品信息，包括商品名称、商品价格、库存量、商家名称、商家评分、商家好评率、物品编号等。 

 

【采集效果】如下图所示：

 

l 思路分析

配置思路概览：

 

 

l 配置步骤

1. 新建采集任务

选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。

 

 

选择普通翻页，点击完成按钮，即创建任务完成。

 

 

2.获取翻页链接

①在浏览器上打开该页面，分别打开几个翻页页面，观察其链接规律，具体如下：

②不难发现翻页规律为：

③打开爬虫，新建脚本

 

 

④根据刚才发现的规律，用脚本来拼翻页链接。

具体如下所示：

 

 

脚本文本：

url u;

for(var i=1;i<=10;i++)//for循环来获得翻页，i为第几页

{

    u.urlname = "https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958?rt=nc&_pgn="+i; //根据翻页规律拼翻页

    u.title = URL.title+"#"+"第"+i+"页";  //返回链接标题为“第i页”

    u.entryid = CHANN.id;

    u.tmplid = 2; //关联模板2

    RESULT.AddLink(u);

}

⑤保存脚本后，点击右上角【采集预览】按钮，复制任意一条翻页链接，在浏览器打开，看是否成功抽取翻页链接。

 

 3.抽取商品链接

 

①新建一个抽取模板，在其下新建一个链接抽取，具体操作如下所示：

 

 

②采集预览，复制任意一条翻页的链接。

 

 

③将链接粘贴到模板02的示例地址中，并点击右上角【保存】按钮：

 

 

④双击内置浏览器，加载示例地址页面，如下图所示：

 

 

⑤用定位过滤链接的方法，shift+鼠标单击，ctrl+鼠标单击扩大选区，选中所有商品。

 

 

⑥采集预览，双击任意一条翻页链接，查看是否成功抽取商品链接：

 

 

4.抽取商品数据

①新建一个抽取模板，在其下新建一个数据抽取，具体操作如下所示：

 

 

②数据建表，按照下图所示建数据表。（注意字段属性等应严格按照下图进行设置）

 

 

③将新建好的数据表，关联到模板中去，如下图所示:

 

 

④填写示例数据，采集预览，复制任意一条商品链接，

 

 

将链接粘贴到本模板示例地址中，并双击内置浏览器空白部分，加载本链接。

 

 

⑤关联模板

 

 

⑥字段抽取

字段抽取使用字段定位取值的方法，具体操作如下所示：

Pro_name字段：选中本字段后，shift+鼠标单击商品名称，选中商品名称，点击【确认选区】。

 

Pro_price：方法同上如下图所示：

 

 

Pro_stock：

 

 

Shop_revuews:

 

 

Num:

 

 

Shop_name:

 

 

Shop_star:

 

 

⑦采集预览，双击进入下一层，知道打开数据页，抽取到数据，表示配置成功。

 

 

 

 l 采集步骤

模板配置完成，采集预览没有问题后，可以进行数据采集。

①首先要建立采集数据表：

选择【数据建表】，点击【表单列表】中该模板的表单，在【关联数据表】中选择【创建】，表名称自定义，这里命名为【ebay】（注意命名不能用数字和特殊符号），点击【确定】。创建完成，勾选数据表，并点击右上角保存按钮。

 

 

②选择【数据采集】，勾选任务名称，点击【开始采集】，则正式开始采集。

 

 

③采集中：

 

 

④采集结束后，可以在【数据浏览】中，选择数据表查看采集数据，并可以导出数据。

 

 

 

⑤导出的文件打开如下图所示：

 

本教程仅供教学使用，严禁用于商业用途！

l 前嗅简介

前嗅大数据，国内领先的研发型大数据专家，多年来致力于为大数据技术的研究与开发，自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台！