各品类市场占有率——通过互联网大数据了解各品类的市场占有率

做生意，从某种程度上讲，绝大部分的生意其实打的是一个信息差异化。掌握信息数据快的，赚取信息数据慢的钱; 掌握信息全的，赚取掌握信息寡的钱…所谓的大数据比较以前的市场研究方法，更多就体现在大而全，可以更加全面地真实地了解市场的全貌，可以更加清楚地认识消费者的画像和商品之间的联系，从而更快更精准满足市场的需求。这也是阿里视数据如瑰宝的一个重要原因。

然而，作为小商家或个人，在无法掌握大数据的情况下，如何尽可能地在能力范围内，利用工具掌握互联网的“大数据“呢。以下是我之前做一个实操项目，总结一下分享出来，以飨读者。

项目的背景是，某品牌想要创立线下快销连锁店，前期想了解市场需要知道的几个问题，1）要卖什么品类产品呢，什么的产品卖得好，2）各个品类的产品能卖到什么样的情况，3）产品长什么样子。

一、品类的划分

首先，有一个方向，列出了如下几个大类：男鞋、女鞋、男包、女包、男服饰配件、女服饰配件、数码配件、家居百货、美容护理、女装、男装; 每个大类里又有中类和小类。具体的部分结构类似下图：

数据来源：国内快销品线上数据，淘宝平台上的数据已经很有代表性，所以线上数据来源以淘宝的数据为准。最终目标数据为销量、价格和主图。

二、数据的获取

淘宝上的数据并没有公开的品类销量数据，只能看到各品类下的具体宝贝的30天内的销量和数据。

思路：如果把每一个小品类的所有宝贝的销量、价格抓取下来，然后再加总不就是这个品类的总销售额了么。

经过一番观察，发现基本上每一个小品类下销量绝大部分是集中在top6000（最多也只展示6000个）的商品中，如此一来，得出一结论，每个品类无需全部抓取只需要抓取它的前6000的商品数据即可。

但，尽管如此，这个都有很大的数据量，算了一下6000*450=270万，一共需要抓取270万商品的销量，价格和主图。想想数据量还是有点大的，如果仅是有人工那基本上不可能，只能利用一些自动化工具了。

最终还是决定用网络爬虫技术的方式来抓取，网上搜了一番，基本上锁定易数云爬虫工具来弄。不用编程，配置下抓取的规则就可以搞定，剩下的就只是抓取了，否则还要再去学习编程再来弄，累都累死了，还不一定保证能学得会。

上了爬虫之后，一切顺利，抓下来的数据，还是很壮观的，270万的数据，excel是别想了，基本上放不下，放得下也打不开，打得开也别想再做什么其他分析了。

抓取下来的数据，大概如下：

这么大的量的数据，只能存在数据库，这里用的是mysql。

三、数据整理及计算

接下来就是对这270万的数据进行汇总和计算了。这里用了python连接数据库，用基本的select语句进行汇总即可。汇总出来的数据如下：

四、展示

数据出来了，再加上饼图那就可以分析出市场占有率了，这里分成大类，中类和小类，用一个excel的VBA宏，写了一个可视化工具，基本上就可以很直接地了解各类的市场占场占有率了。

大类的展示

中类的展示

小类因为比较多，所以用一个下列单的功能来实现切换。

五、未来计划

做成实时的数据抓取和监控网页，可视化感知市场变化，亦可做单品爆款的实时追踪。

因为当前的这个一个静态的数据，只是某一个时间点的数据，未来可以结合爬虫做实时的抓取，同时做H5展示页面，可进行动态可视化的实时追踪。另外一个，如果是要追踪竞品或爆款的追踪，这个思路也是完全可行了。可惜爬虫这块不知易数云可不可以嵌入到服务器中去做连续的抓取就不太清楚了，可以去留言了解下。

链接：http://cloud.yisurvey.com:9081//html/37be8794-b79e-4511-9d0a-81f082bac606.html

注：本文为原创，如非作者允许不得转载。