FineBI遇上Python爬虫：亚马逊竞品监控新玩法。

口水话时间、好多年没有更新博客了，翻了一下上一次更新都是在好几年前了，由于工作变化，这几年都在做跨境的数据分析，在技术栈和分析方法论里面也有了很多的更新，下面给大家简单的分享一下如果做跨境的竞品监控分析，举了一个简单的demo，感兴趣的小伙伴可以一起讨论学习。

1、调研阶段

1.1、明确监控需求

• 首先把我们需要监控亚马逊上的类目或者ASIN整理好，特别是类目知名品牌，建议在每个梯度下面选取数据。
• 关键指标监控包括：价格、销量、用户评价数量及平均分、产品排名，关键词以及关联流量等。
  
  箭头这些都是我们需要监控的指标
• 监控目的：及时掌握竞品的运营动作，在活动，广告、关键词上面的调整，去分析竞品的历史趋势以及流量结构，合理的调整自己的产品数据

1.2、技术可行性研究

• 亚马逊网站结构复杂，数据通过AJAX加载，需要模拟浏览器行为进行数据抓取。
• 亚马逊有强大的反爬虫机制，需要利用代理IP、设置合理的抓取频率等策略应对。
• 如果不想直接去爬亚马逊网站，可以使用某些第三方平台比如国内比较出名的那几个，通过第三方平台去爬数据会省很多的事，不过很多都是需要付费账号有cookies认证，如果非会员数据抓取会被限制。

1.3、了解FineBI功能

• 对于使用过FineBI的小伙伴都知道，它支持多种数据源的连接，有丰富的数据分析功能，比如聚合、过滤、趋势等
• FineBI的数据可视化功能强大，可以生成直观的图表和报告，满足我们的分析需求，另外帆软正版还是挺贵的动辄几个W，我是使用PJ版的，有需要也可以找我。
  

2、数据准备

2.1、确定数据抓取策略

• 每日抓取一次数据，抓取时段选择在亚马逊流量较低的时段，以减少对网站的干扰，如果是抓取第三方平台的数据，建议在设置晚上或者凌晨自动跑，第三方平台可以多选择几个爬取，可以不同的板块去爬不同平台。
• 需要抓取的网页包括商品详情页、用户评价页，关键词页面，流量来源页面等。
  
  
  

2.2、选择爬虫工具

• 选择Scrapy框架进行网页数据的抓取，因其具有高效的爬取能力和良好的扩展性。
• 利用Selenium库模拟浏览器行为，处理AJAX加载的数据和cookies数据。
• 也可以直接用request库编写脚本，这样更灵活方便。

2.3、数据预处理

• 对抓取的数据进行清洗，去除无效和重复的数据记录。
• 将价格、销量等字段转换为数值类型，便于后续分析。

下面图示是编写的脚本文件爬取对应板块的数据：

2.4、构建数据存储方案

• 选择MySQL数据库存储抓取的数据，设计合理的表结构。
  

3、脚本编写与数据入库

3.1编写爬虫脚本

• 编写Python爬虫脚本，定义爬取规则和解析函数,我这边是使用多线程进行数据爬取，由于数据量太大，单线程数据太慢了，开30个线程直接拉满。
  
• 利用Selenium处理自动登录获取第三方平台的cookies数据，由于某些网站的cookies过期时间为一天，我们需要每天定时模拟登录获取cookies进行入库，方便后续程序调用。
  

3.2脚本优化与反爬虫策略

• 使用代理IP池，定期更换IP地址，避免被反爬封禁。
• 设置合理的抓取间隔和超时时间，确保爬虫的稳定运行。

3.3数据入库与备份

• 将抓取的数据实时导入到MySQL数据库中，确保数据的时效性。
• 定期备份数据库，制定恢复策略，以防数据丢失或损坏。

4、使用FineBI进行分析

在上面写了一推的代码和脚本，其实价值不高，有了数据之后，我们将数据使用起来，发掘数据背后的价值，才是我们做数据分析的关键所在，所以我们会使用FineBI，使用这个好处就是，做好的看板运营实时能够看到最新的数据，以及打通各个数据板块之间的联系，打破数据孤岛的问题存在。

4.1数据连接与导入

• 使用FineBI的数据连接功能，连接到MySQL数据库。
  
  从这里设置好这五个参数就OK了
  
• 导入所需的数据表之后，对数据表进行字段映射和整合。
  
  我们可以在表的这里将数据关键建立好，当然也可以在分析主题里面的数据模型里面建立好数据关系
  建立关系方法一：
  
  建立关系方法二：
  

4.2数据分析过程

• 利用FineBI的数据处理功能，将数据进行清洗。
• 对价格、销量等关键指标进行聚合分析，生成趋势图表。
• 对比关联流量进行数据追踪，监控来源的变化情况。

4.3数据可视化与报告生成

• 使用FineBI的数据可视化工具，生成直观的图表和报告。
  
  
• 展示价格趋势图、销量对比图、用户评价分布图等。
  
  
  
• 导出报告为PDF或Excel格式，便于分享和决策。
  

4.4制定竞品监控策略

• 根据分析结果，制定针对性的竞品监控策略。
• 如发现竞品价格异常波动，及时调整自身定价策略。
• 根据用户评价分析，优化产品功能和用户体验。

总结

在跨境这个行业，竞品的分析是非常重要的，选品初期如果没有大量的数据支持，我们很难做出决策，好的工具以及优秀的数据处理能力是你脱颖而出的关键，以上是一个简单的案例，感兴趣的小伙伴可以点赞留言，对代码感兴趣的可以点赞关注，下期将更新如何做市场分析以及选择策略。