数据分析 - 处理电商平台比价需求所用到的数据思维

最近接到了一个需求：

因为38节的到来，我要对自己商城的商品做一轮推广，要把我们商城最有竞争力的商品做宣传，放在商城最显眼的地方，用来吸引消费者来购买。

所以，这就要我们要对上架的商品 与 市面上的商城价格（例如某东，某猫等）做匹配，要找到比市场市面价格高的商品做调整价格，做改价，用来提升自己的商品的竞争力。

我们要在节前出一份价格比大平台还要高的的商品价格表，用来做改价，把价格调整成合理的价格。

换个角度想想也是，因为我们公司是小企业，商城也是小平台。要是小平台的价格还比正常的电商渠道还要高，那谁还来商城买呀？

现在恰好遇到消费节，打算宣传一波，总不能让消费者看得出我们的价格是不合理的嘛。所以就有了这个改价需求！

整体的改价需求逻辑：

初步逻辑：

把1W多的商品，到某东某宝某猫随意一个网站做爬取，获取价格表，再跟我们的一比对，就可以知道哪些是价格虚高于市场价的

但是这个需求有点急，要求一个星期内就要完成表格出来。

这里就有些问题：

1. 爬取难点：因为网上的商城登录会有门槛，例如验证码、短信验证等等，导致爬取的速度慢，开发维护的时间成本很高
2. 时间成本高：即便获取到了数据，由于一个商品会对应多个链接，还得要做优先值的筛选，
   3. 其次，这个需求只有我一个人完成，而且完成以后的改价，写宣传推文，全都我一个人在做（打工真的太苦了），所以不能按照平常的方法做长流程的作业了。

更何况还有时间的问题，盲目动手也没法按期完成工作了~

我需要一个快速解决的方法。

进阶逻辑

我重新梳理了一下我们改价的目的，主要是为了让消费者登录我们的网站是看到比较优惠的价格。而大部分的消费者也多数是点击官网看看前几页的优惠推广。

既然短期内没法搞那么多内容，我们干脆就只改官网那一页的产品，让大家点进去就优先看到优惠的价格，自然而然会觉得我们官网的便宜。

原本的逻辑：

修改后的逻辑：

所以我最后的方案是：

先不着急爬取1W多条数据，先把自己的商品表计算好利润和毛利比，按照毛利比做降序，去对这些商品查价格。

如果发现跟大平台对比，我们商城的价格优势比较明显的。就把它优先放在官网第一页上。

然后优先对这一批数据做处理，把这部分的大平台的价格确定下来就可以了。

因为我们的官网上的分类也就是一部分，只需要每个品类找三十多个，因为一个页面能显示的商品数量大概是30个。

算下来优先弄200+个优惠的商品放在主页就好啦！

写在结尾：

我写这个的原因，是我发现以前在弄数据的时候，一直盲目写代码爬数据。其实弄数据也需要优先级的，按照紧急情况处理，所以在处理的时候，就需要灵活一点啦~