大数据，我们离你有多远-CSDN博客

采集环节，我们面对的基本问题是“采什么”、“如何采”、“采多少”。而采集实现的方式，从规模和范围的层面上讲，可以分为“窥豹一斑”的抽样统计方式和“一览无余”的“大数据”方式。

　　抽样统计，首先要解决样本“代表性强”的问题；“大数据”方式，首先要解决“覆盖面广”的问题。

　　大数据的一个基本特征是“全样本”，其理想状态是“有多少、采多少；有什么、采什么”。但因为整个终端销售电算化的社会基础还很薄弱，目前行业数据采集工作还不可能实现“全样本”。

　　因此，一方面，行业商业企业保持着传统工作方式，通过抽样，以统计学的方式，“还原”或推测市场整体状态；另一方面，行业商业企业又必须要扩大样本和采集范围，不断靠近大数据的“全样本”标准。

　　问题的关键就在于，其一，在传统方式下，样本如何选点布局，是确保统计准确的基础；其二，“全样本”的概念如何探索、做哪些探索，事关未来行业卷烟营销的全局。

　　关于如何选点布局，就调查所涉及的省份情况看，基本参照了国家烟草专卖局《卷烟零售市场信息采集和分析应用基本规范》相关要求，选点按照地理位置、经营规模、经营业态三个维度进行：

　　在区域上，市区、县城、乡镇农村比例基本为5:3:2；在规模上，大、中、小不同规模的参考比例为2:6:2；在业态上，以食杂店和便利店为主，样本比例大约占70%，烟酒店的比例约为20%，商场、超市和娱乐场所的比例在10%。

　　也就是说，数据采集的选点布局，从地理位置的维度，以市区为主；从经营规模的维度，以中型规模为主；从经营业态的维度，则以食杂店和便利店为主。

　　当然，各地实际不同，需要在这一标准的基础上适当调整。

　　以广西柳州为例，当地中小食杂店、便利店较多，所以选择采集点占比较高，在行业基础标准上，柳州市烟草专卖局（公司）又扩量10%。而同样是县城，该市柳江县经济发达，食杂店一周可销售卷烟100条左右，三江县则经济发展水平相对较低，食杂店周均订购卷烟在二三十条。如果忽略县与县之间经济发展水平的差异去布局，必然会影响采集质量。

　　为了最大程度确保选点布局贴近终端销售的层次与结构，各地都明确了相应的工作方法和工作机制。

　　福建省烟草商业系统，建立了自己的“样本管理系统”。根据客户经理辖区内的零售客户地理位置、业态和规模等维度，由样本管理系统自动筛选出“方差”排在前列的零售客户作为可选样本；信息采集员根据客户配合度，从中选取10户作为备选样本，最终由样本管理系统在平均分配的前提下自动选择产生信息采集点客户。这样，样本点的分布与全市零售客户的分布情况可以保持基本一致。

　　不仅如此，福建烟草还通过实时监控，确保样本点的代表性。当样本中有存在非正常状态（停业、歇业、被查处等）时，样本管理系统将自动提供异常提醒，通知信息采集员进行备选样本的变更；当全区零售客户每增加100户，系统会自动增加一个采集样本点，遵循公平、公正原则，优先分配给样本数较低的信息采集员。

　　与福建不同，江苏烟草商业系统全面构建了多模式市场信息综合收集分析运用系统。他们将样本点分流至人工采集和自动采集两种模式下，这两种模式能分别进行独立运算，又能相互校验比对，这样，采集统计的质量就有了“参照系”。

　　抽样统计，实际是以“小样本”反映大市场；“大数据”方式，是用“全样本”反映大市场。样本的准确性，对于两种方式的影响和意义，不可同日而语——就像一瓶墨水，倒在水缸里会污染整缸水，但倒在大海里，却不会对大海的水质产生多大的影响。

　　而要减少“墨水”污染，也就是不准确样本对于选样统计整体工作的消极影响，一是要解决零售客户扫码自主性和自觉性的问题，二是要努力扩大样本规模。

　　目前，行业商业企业采集数据的主要方式有三种：手工采集、终端POS机扫码、信息间的系统对接。其中，终端POS机扫码占主导。

　　但POS机扫码的人为障碍，在各地不同程度存在，具体原因有这么几类：

　　其一是管理意识落后。有的零售客户认为，卖烟不必这么复杂，终端管理只需按期盘点就够了，扫码纯粹是一个“附加动作”。这种情况集中发生在店面小、赢利能力弱的食杂店和便利店。

　　其二是担心增加税收负担。赢利水平高的零售客户不愿意扫码，主要是顾虑较多，担心营收数据收集上去后，店铺实际经营情况可能透明化、公开化，从而增加税收负担。

　　其三是成本和投入问题。对于一些偏远地区的小零售客户而言，买电脑、交网费，是一笔不小的投入。

　　从根本上讲，数据采集的困难，是先进的卷烟营销手段同零售客户营销能力不匹配之间的矛盾。而要解决这一矛盾，除了加强零售客户群体的培训，还要抓住当前价值与利益的问题——这就是说，要解决好行业商业企业与零售客户之间的“价值链接”问题，让数据采集不仅仅对行业商业企业有用，对零售客户也有用。行业商业企业的一个通行做法是将信息采集系统的功能进一步丰富，使之成为一个“基于信息采集与分析”的零售终端管理软件。

　　安徽烟草商业系统的“徽映e家”是这方面的代表。以“轻松扫码、科学理财、现代经营”为技术诉求，“徽映e家”作为一款终端管理软件，着重解决零售终端收支不清楚、赢利不清楚、库存不清楚、商品结构不清楚等经营问题，实现台账管理、库存管理、销售管理、赢利分析的电子化，最终，实现中小零售终端由传统经营模式向现代经营模式的转变。

　　归纳浙江、福建、江苏、陕西、安徽和广西六省区的零售终端管理软件开发，其主要的终端功能包含了进销存管理、财务管理、商品档案管理、烟草会员管理、经营分析和系统管理六大功能。这些功能的应用，带给零售终端的直接益处就是赢利能力的提升——由于商品结构清晰、库存管理便捷，零售终端的资金周转速度自然加快，资金利用效率提升。其中，尤以中小型零售终端表现最为明显。

　　“价值链接”解决了信息采集的动力问题，将信息采集从“要我做”变成了“我要做”。零售客户应用系统自主性和自觉性的提高，必然使得系统所采集的信息和数据更丰富、更精确、更具生命力。

　　行业商业企业所需卷烟营销信息要通过零售终端采集实现，所以信息采集先要体现客户价值，然后才可能实现行业价值——这样的一种管理哲学，是以客户价值为基本原则，在实现客户价值的过程中实现自我价值，最终实现在业务链条层面的共赢。

　　对于行业商业企业而言，仅在提升终端管理的现代化水平上做文章也许还不够，未来行业商业企业还有可能以数据采集为切入点，进一步实现从管理价值向经营模式的价值转变和过渡，进一步丰富“价值链接”这一概念的实践意义。我们认为，只有这样，才能确保“小样本”条件下样本数据的准确性、正确性、纯洁度和严格度。

价值密度高，还是低？

　　数据价值密度低，是大数据的表现特征之一。但需要补充的一点是，价值密度低，不等于价值低——对这一点，调查报告后文还会展开相关论证。

　　数据价值的密度与数据本身的体量有关。从此次本报调查范围来看，行业商业企业抽样统计方式的样本比率目前大多数在5%~10%之间。正是因为样本体量相对较小，所以，要更准确地预测和还原整体市场的状况，样本本身必须要具有“高密度的价值”。

　　所谓“高密度的价值”，在调查之后，我们主要将其内涵提炼为三项基本内容：

　　其一，所选样本要具有充分的代表性，这是样本的布局选点问题；其二，每个样本点反馈回来的信息要尽可能准确，这是数据采集的准确率问题；其三，是要尽可能地挖掘数据本身价值，这主要是分析建模的问题。

　　关于布局选点和准确率的问题，调查第一部分已有涉及。这一部分主要从挖掘数据本身价值的层面展开。

　　必须在此补充的一点是，为更充分地挖掘数据价值，行业商业企业在抽样统计模式下，已经在逐步导入“大数据的思维”，其具体体现为——样本规模的逐步扩大已是趋势；数据采集范围的延伸已有探索（这也是大数据本质特征之一，调查第三部分将重点呈现这一内容）；越来越重视“信息粒度”，已有意识地朝着“有什么、采什么”的方向去努力。

　　“信息粒度”，反映的是信息详细程度。“信息粒度”的大小，直接决定了信息可供分析和挖掘的潜力与空间。

　　举例来说，单纯讲“某零售店卖出一条卷烟”，这一信息的“粒度”就较粗，数据可供分析的价值有限。而如果数据本身描述了“这一条卷烟是怎样卖出去的”，是一次性卖给了一个人，还是被若干人分若干次买走，其信息含义就可以进一步挖掘——前者可能说明消费者的购买能力或消费尝试，而后者则可以表明品牌的受众面和消费者的忠诚度。

　　从六省区调查情况看，“信息粒度”呈现出两级表现：

　　一方面，“信息粒度”较好的是与卷烟销售直接相关的数据，比如零售价格、销售量、销售时间、库存等，这得益于行业商业企业多年来抽样统计的经验积累，并且通过软件系统的技术设计可以实现。另一方面，由销售层向消费层延伸的数据采集，不同程度地存在困难和障碍。这些困难和障碍长期存在，由此，消费者档案的建立和消费者行为的研究，结果并不理想。