一、背景与目的
数字化营销时代,快速掌握了解数据是一项基本技能,本文主要讲解里面Web Scraper工具如何爬取公开数据,比如爬取京东的店铺售卖商品情况数据,以便我们更好地了解竞品对手的产品情况和定价情况等,从而采取有效针对性的手段应对,同时对于个人也是一项数据收集技能的提升。
二、工具介绍和安装
1> 介绍
Web Scraper是一款可以从网页中提取数据的chrome网页数据提取插件,是一款非常好用的爬虫工具。
2> 安装
步骤一:安装Chrome浏览器的桌面版。
步骤二::在webscraper.io下载谷歌Chrome浏览器插件,完全免费。
步骤三:安装完Web Scraper可以在Chrome右上角找到图标。
步骤四:Windows操作系统,按F12键,Chrome开发者工具会弹出,Web Scraper在菜单项的最右边,至此安装工作结束。
三、实战爬取操作
1> 选取爬取平台的链接
步骤一:获取爬取链接:打开京东首页,搜索手机之后,我们看到全部商品分类的选项,然后我们选取手机通讯->手机->品牌HUAWEI,进入相应页面后,选取第二页商品列表,之后得到如下链接。
https://list.jd.com/list.html?cat=9987,653,655&ev=exbrand_8557&page&