淘宝店铺商品信息抓取

一、背景

 为了更好了解同行或竞争对手的情况，基于对行业数据分析、市场研究、竞争情报收集等方面的需求。一些公司或个人可能希望获取淘宝店铺的商品数据，以便进行以下操作：

1. 市场研究和竞争分析：通过分析淘宝店铺的商品数据，可以了解市场上的产品趋势、价格变化、竞争对手的产品和定价策略等信息，帮助企业制定自身的营销策略。
2. 产品定价和定位：通过抓取淘宝店铺的商品数据，可以帮助企业了解同类产品的价格范围，从而更好地制定自己的产品定价策略，找到合适的市场定位。
3. 库存管理：定期抓取淘宝店铺的商品数据可以帮助企业了解市场需求的变化，及时调整自己的库存策略，避免库存积压或缺货情况。
4. 营销推广：通过分析淘宝店铺的商品数据，可以了解消费者的购买偏好和行为习惯，有针对性地制定营销推广策略，提高销售转化率。

 我目前采用的是“粒元数字员工”，通过这款RPA可以自动抓取，进入目标店铺首页，遍历商品列表获取商品信息，然后存储到Excel中。

二、步骤分解及效果预览

步骤操作如下：

(1)、打开淘宝首页（已登录状态）

(2)、搜索【石头电器旗舰店】以这个店铺为例

(3)、点击【所有宝贝】

(4)、点击第一个商品，进入商品详情页

(5)、保存该商品的标题、价格、销量三列内容，保存至excel的sheet(根据当前时间)第1行

(6)、返回【所有宝贝页面】，点击第下一个商品

(7)、重复步骤5-6

(8)、抓取完成后，将excel保存至桌面本地

RPA执行片段如下：

三、RPA具体操作步骤：

1. 打开rpa客户端，新建应用，选择移动端自动化应用

1. 数据是要存到excel的，于是我们先准备好excel 存放的位置及表头。存放的就放电脑桌面文件名就为"石头电器旗舰店淘宝商品价格.xlsx"，在指令栏操作系统类目下都有相关指令，具体实现看下代码截图。

这9行代码就初始化好了数据的存放路径及表头Sheet(根据当前时间)的生成。如果运行这些代码桌面的就会有“石头电器旗舰店淘宝商品价格.xlsx”文件且存在Sheet(根据当前时间)带有商品标题、价格、销量的表头。

1. 接下来就是打开让浏览器打开淘宝页面，搜索店铺，到店铺首页点击更多商品。这里需要让浏览器安装插件，然后获取匹配元素，这样才能保证RPA自动化运行。在这个步骤里面我们只需要文本框输入“石头电器旗舰店”，然后点击搜索按钮。这样就能找到该店铺了。

   

上图分别为搜索框元素获取和搜索按钮元素获取。

下面来看下有关这块的代码情况。

17行代码就是打开了“石头电器旗舰店”店铺首页，因为我们要获取所有商品，所以还得点击“所有商品”，所有商品这个元素无法通过RPA获取到的，这里只能走下弯路，通过这个导航条点击，然后通过鼠标的移动位置，来点击到所有商品上。

这里通过横向平移-350和-20来点击到所有商品，这里需要根据手动调整。

1. 到目前为止系统到了获取所有商品页面，接下来就是循环遍历商品了。
2. 循环商品代码块

通过循环所有商品，然后点击商品标题进入商品详情页。

打开商品详情页获取到信息，记得要关闭当前页面哦。

1.  最后就整个循环的结束了。

   

2. 此应用目前已上传到市场。

这里需要注意的是获取的网页元素抓取不到时，可以才用多次重试方式。如下图，这样的话就保证能获取到价格。

四、使用心得

        总体流程搭建其实很简单，就是把人工操作的步骤一步一步用应用脚本代替。需要考虑到的是人工能随时处理各种情况，脚本逻辑是固定的，处理效率上也更快更稳定。所以需要提前考虑到各种异常情况，比如没有搜索结果、网络异常等。找了几款RPA工具， 只有“粒元数字员工”的能力比较全面，同时也总结出粒元RPA的如下特性。

易用性：它有友好的界面和易学易用的功能，使得即使非技术专业人士也能够快速上手使用。这使得员工可以更快地实现自动化流程，提高工作效率。快速部署：它允许用户快速开发和部署自动化流程，减少了传统软件开发周期，可以更快地实现业务流程的自动化。灵活性：它具有灵活的配置选项，可以根据实际业务需求定制自动化流程，适应不同的业务场景。准确性：它执行任务的准确性很高，避免了人为错误的发生，提高了数据处理的准确性和一致性。节省成本：通过使用粒元RPA工具，可以减少人力资源的投入，降低企业的运营成本，提高工作效率。监控和报告：它提供监控和报告功能，可以实时跟踪自动化流程的执行情况，帮助用户及时发现和解决问题。整合性：它具有良好的整合能力，可以与其他软件和系统无缝集成，实现更复杂的自动化流程。