别找了！企业大数据都从这里来的！

企业大数据从哪里来
随着大数据概念的火爆和普及，每个人都逐步意识到大数据的重要作用，都开始思考企业大数据的问题。有些公司的高层开始请外部的大数据专家来讲课，希望内部的员工能够开始使用大数据。而中层的管理者总是一头雾水：“大数据在哪儿呢？”

1.企业大数据来自我们的日常工作活动
其实每一位管理者仔细思考一下自己日常的工作，就会发觉自己日常接触到的内部数据其实有很多。在这里简单罗列一下，以下这份清单几乎是所有的企业都应该有的，即使不保存在公司电脑里或者是说存储在企业管理信息系统里，各个岗位的管理者也应有一份自己的数据清单，以方便自己的工作。

以上只是从三个部门的角度出发列出了一些基本的数据表，这些基本数据表的完整程度、管理的规范程度直接反映了企业基础数据管理的完善程度和规范程度，这些数据表中的数据质量也会直接体现出这个企业所拥有的内部数据的质量。因此，在判断企业目前数据化管理程度时，笔者一般会直接让企业相关部门提供以上清单中的几个数据表，就能快速做出相对准确的判断。
企业的每个岗位、每个人员都在进行着与企业相关的经营和管理活动，都在掌握着企业相关资源，拥有这些资源的信息和记录，这些资源与资源转换活动就是企业大数据的发源地。只要每个岗位的员工都能参与到数据采集和数据记录的过程中，或者配合着相关的设备完成对数据的采集工作，企业积累自己的大数据就是一件非常容易的事情。
2.企业数据源头管理需要系统化
从前面这份数据表清单示例中可以看到：有的数据是基本的信息表，有的数据是活动的记录表，会形成一个流水清单；有的数据是主动记录下来的信息，有些数据是机器自动采集完成的；有的不是公司内部的资源，但是需主动采集的信息。可以说，数据源头是各种各样的，有的信息比较容易管理，比如说公司安装了门禁和指纹考勤机，要求每个员工上下班打卡，就能够自动记录考勤情况。
而有的信息，比如竞争产品信息数据、竞争对手活动数据、潜在客户名单等相关的数据表，就需要销售部门的人员主动去外部采集，数据的质量和数量都与销售人员的积极主动性直接相关。员工自己比较主动、勤快，或者说有数据意识，就会去收集整理这些数据，如果公司不要求，基本很少有人去做，即使要求了，应付差事的情况也很多见。
企业大数据管理不能依赖于个人的积极性和主动性，因为不同的员工会带来不同的结果。要想构建比较完善的企业大数据，就需要系统化地管理。为保障源头数据的质量，企业需要明确什么源头需要什么样的记录，在数据信息字段的采集、数据的格式、数据记录的载体、数据的存储和传输形式等方面形成规范性的要求，并对相关源头数据的负责人提供足够的培训，在过程中进行监督检查。
比如，最基本的《员工个人基本信息登记表》是基础数据表，人力资源部对该表所采集数据的质量，包括数据的全面性、准确性、及时性和完整性负有管理责任。人力资源部在入职管理或招聘岗位相关人员时，需在人员招聘面试、入职等时间节点上对该数据进行采集，让每个新员工填写完整的《员工个人基本信息登记表》，并在日常工作中，随着员工个人情况的异动，定期进行更新。比如说，每个季度需要员工填写个人信息异动表；在某些管理工作节点发生异动后，及时更新信息库，如员工请婚假，需要及时更新员工的婚姻状况、家庭成员状况的信息；员工请产假，需要及时更新员工的子女状况信息；为员工开具个人收入证明，其买房时，需要更新员工个人资产、个人居住地址等相关的信息。一方面，需要数据负责人对自己所负责的数据有质量意识；另一方面，在内部管理上，需要建立并不断完善这种活动与数据更新的联动机制。这需要在内部管理制度、岗位说明、任务说明、流程要求等方面做出数据管理的规范性要求。
系统化的数据管理制度与流程能够保障企业大数据的质量：在数据采集的全面性上、在数据的完善程度上、在数据的准确性上、在数据采集的及时性上、在数据积累的持续性都要有保障；同时，系统化的管理能够将以上各种数据关联到一起，形成高度关联的大数据集合。
3.企业大数据的分类
本章探讨的企业大数据会将重点放到企业内部大数据上，这里的“内部”更多的是从数据拥有方式上定义的，指企业所能够自主拥有的大数据，具有“自主产权”的数据，包括企业主动采集或者采购的外部数据。
从数据所描述的“主体”上，我们把企业大数据分成两个大类，一类是资源信息数据，另一类是资源活动记录数据。
第一类，资源信息数据。资源信息数据是静态数据，记录企业相关内外部资源主体的相关信息，企业的资源包括人、财、物和信息四大类资源，其中的信息资源包括企业的无形资产、技术专利、经营诀窍、客户关系以及内部的数据等资源。
比如，人这个资源，指所有与企业经营活动相关的人，包括公司的领导者、管理者、员工，还包括与公司经营有利益关系的人，例如客户、供应商、竞争对手、政府、社区、协会等。
资源信息类的数据相对于资源活动记录数据来讲，具有相对的稳定性，对即时性要求相对较低。比如，对人这个资源的描述信息相对是固定或者稳定的，但内部员工会随着岗位变迁、人员流失、招聘等活动而发生变化，但人的基本信息变动频率不像资源活动记录那样有着非常高的时间节点性，对记录的即时性要求不高，即使事后补充记录，对数据质量的影响也不会太大。
对资源信息的记录，比较强调信息记录的全面性。但受限于法律规定、信息获取手段等，数据的完整性不见得都能得到保证。比如，收集内部员工的个人信息受隐私法保护的限制，有些信息比较敏感，可能无法强制获取；对客户信息的收集，受客户提供信息的意愿和采集数据的手段限制，对客户信息的采集往往难以保证完整性。这里就需要把握一个度，通过长期的坚持和积累，实现数据的不断丰富。
对资源信息类数据源进行系统性梳理时，常常会采用一些卡片工具进行采集或者诊断现有数据信息的完整性，如下图所示。

信息字段定义卡片工具

第二类，资源活动记录数据是指公司经营和管理活动所必然牵动的数据。比如，员工的考勤数据，跟客户进行的买卖交易活动，这些都是资源的活动，具有非常敏感的时效性，所以可以称之为“动态数据”。根据笔者在实践中的观察，企业对活动的记录往往是比较缺乏的，容易发生“事情做了，但没记录下来”这样的情况。为了更好地保留企业内部各种经营管理活动所带来的资源活动数据，需要建立严格的管理流程和制度，并配以足够的技术手段，实现活动记录的即时记录。在宝洁公司，为了追求数据的即时记录，内部流行一句话：“没有记录下来的事情都没有发生过。”就是说，如果不记录下来形成数据，你的工作相当于没有做。
在对动态数据进行梳理的时候，笔者经常采用的是表格工具，如下表所示。表格的左边是梳理企业所有相关资源的企业资源列表，右边是资源对应的活动，这样就将活动对应应该记录的内容进行了明确化。因为不同的公司有不同的业务特征，信息记录字段的要求也不同，此处仅仅作为示例。从数据结构的角度讲，注意不要有太多重复的记录，这样会加大以后进行数据校验时的工作量。比如，员工上下班打卡记录，只要有员工编号即可，不需要员工的姓名、性别、年龄等字段，因为这些字段可以通过唯一的员工编号追溯得到，这个对应的是员工基本信息数据表中的数据。

之所以要把数据分成静态数据和动态数据，主要是为了企业能够系统化地梳理数据源头，解决“数据从哪里来”和数据记录全面性的问题。即在对企业大数据进行系统性地梳理时，首先要梳理企业所有的相关资源，然后再对资源的活动进行梳理，这样就能够全面地、系统地梳理企业所有的大数据，然后再根据技术条件（可获取性）、经济条件（成本投入高低）和数据本身价值进行分类，将最紧迫、最重要、高价值密度的数据优先获得，并逐步纳入数据库中，从而构成企业的大数据源头。
4.企业大数据的六大主要来源
为了更加全面地梳理或者评测企业大数据的源头，需要从企业经营活动主体边界角度再进一步看企业大数据的来源，从而为企业构筑更加完整和全面的数据源头提供思路。
从数据描述对象与企业的关系角度以及动态和静态信息来分类，企业大数据的来源主要有六大类（如下图）：
（1）企业资源的信息数据（静态数据）；
（2）企业资源活动的记录数据（动态数据）；
（3）企业经营活动所接触外部资源的信息数据（静态数据）；
（4）企业观测到相关资源活动的记录数据（动态数据）；
（5）企业主动采集或者采购的外部数据（静态+动态数据）；
（6）外部开放数据和公共数据资源（静态+动态数据）。

企业大数据的六个主要来源

以上分类中，通过1.2.3节中梳理数据源头的方法基本可以梳理清楚，这里重
点介绍一下第5类和第6类。
企业主动采集或者采购的外部数据是企业根据经营决策需要，采用数据采集的手段和方法，成立数据采集项目，完成数据采集的工作。比如，公司为了了解市场中消费者的分类，为公司选择目标客户群体，并定位关键细分客户群体重点研发新产品时，可以发起消费者研究活动，通过市场研究项目，定性或者定量研究消费者的需求，然后形成数据分析报告。这样采集的数据就是企业跨出自己的经营边界所能够接触到的资源，属于主动采集数据。
如果企业能够坚持每年做一次市场调查，经过几年的跟踪、监控，就能掌握消费者对产品需求的变化线路，从而敏锐地感知到消费者需求的变迁，及时根据消费者需求的变化调整自己的产品线和品牌路线，让产品能够更好地满足消费者的需求，保证最佳的客户体验，公司就能在市场上一直保持较好的竞争优势。国内的企业能够坚持这样做的不多，大多数是跟随企业领导做出产品线的调整，或者看到市场上哪一类产品开始受欢迎就跟进模仿，而不是自己花费人力和物力去研究、创新。宝洁公司和惠氏制药公司每年都有很多这种市场研究项目，其主要的目的是不断感知外部市场需求的变化，随时对公司的产品线和品牌策略做出调整。因为有了类似的主动采集外部数据的举措，所以这些大公司对市场需求的变化能够做到“春江水暖鸭先知”，大而不僵，是敏感的“巨人”。给予大型企业敏锐感知力的就是主动的外部数据采集和分析。

5.外部数据源的管理也非常重要
还有一类重要的企业大数据来源，不是来自内部经营管理活动，可以将其算到第7类中，即外部公共开放数据资源，包括政府公布的人口数据、经济数据以及权威机构发布的研究数据等。这些数据是企业从战略制定、投资研究的角度考虑需要深度分析的数据，这些数据一般都有固定的开放平台，包括国家统计局网站、权威数据机构网站、官方媒体等。现在各国都在建立公共数据服务开放平台，有些有了开放接口，通过接口可以实现数据的即时获取或者更新。中国政府也在推进数据开放和共享平台的建设，地方政府如上海就首先成立了政府数据公开的服务平台。
人口数据对于公司制定发展战略，确定年度目标有重要的参考意义。如果是一个婴幼产品供应商，那么每年各地的出生人口数据就是非常重要的；如果是一家婚庆产品相关的公司，那么每年各地的结婚人口和离婚人口数据就非常有价值；如果是一家大型的劳动密集型制造企业，用工需求量大，那么劳动力人口的迁移情况就是非常重要的数据。
外部公共开放数据虽然每年都在增加，但基本保持相对平稳，统计方法也基本不会有太大的变化，企业只要需要，就可以通过各种手段去权威发布机构查询。企业需要做的就是积极主动地去使用这些数据而已。

上海开放大数据网站首页截图（日期：2015年10月25日）
全文摘自《企业数据化管理变革-数据治理与统筹方案》赵兴峰著
该文转载已取得作者认可
版权说明：版权所有归明悦数据所有,如需转载请联系我们，我们将在第一时间处理，或请注明内容出处（《企业数据化管理变革》赵兴峰著），非常感谢！【往期内容已在（明悦数据）公众号同步发布】
下期内容更实战！