webscraper多页爬取_爬虫工具实战篇（Web Scraper）- 京东商品信息爬取（原创）

一、背景与目的

数字化营销时代，快速掌握了解数据是一项基本技能，本文主要讲解里面Web Scraper工具如何爬取公开数据，比如爬取京东的店铺售卖商品情况数据，以便我们更好地了解竞品对手的产品情况和定价情况等，从而采取有效针对性的手段应对，同时对于个人也是一项数据收集技能的提升。

二、工具介绍和安装

1> 介绍

Web Scraper是一款可以从网页中提取数据的chrome网页数据提取插件,是一款非常好用的爬虫工具。

2> 安装

步骤一：安装Chrome浏览器的桌面版。

步骤二：:在webscraper.io下载谷歌Chrome浏览器插件，完全免费。

步骤三：安装完Web Scraper可以在Chrome右上角找到图标。

步骤四：Windows操作系统，按F12键，Chrome开发者工具会弹出，Web Scraper在菜单项的最右边，至此安装工作结束。

三、实战爬取操作

1> 选取爬取平台的链接

步骤一：获取爬取链接：打开京东首页，搜索手机之后，我们看到全部商品分类的选项，然后我们选取手机通讯->手机->品牌HUAWEI，进入相应页面后，选取第二页商品列表，之后得到如下链接。

https://list.jd.com/list.html?cat=9987,653,655&ev=exbrand_8557&page&