「大数据的关键思考系列」8：数据分类的四大维度（1,2）

作者 | 橙子

审核 | gongyouliu

编辑 | auroral-L

数据分类的四大维度（1，2）

在上一期内容中和大家探讨了“数据分类与数据价值”。今天想和大家分享的是“数据分类的四大维度（1,2）”。

我们可以从不同维度将数据分为以下四种。

维度一：以是否可以再生为标准。按照是否可以再生的标准来看，数据可以分为不可再生数据和可再生数据。不可再生数据通常就是最原始的数据，比如用户在访问网站时浏览记录会追踪用户的行为，如果当时没有被记录下来，就没有其他数据来还原用户的行为了。因此，对于用户日志类等不可再生数据而言，必须要有很完善的保护措施和严格的权限设置。

可再生数据就是通过其他数据可以生成的数据。原则上，指标类数据的衍生数据都是可再生的，只要原始的不可再生数据还在，就可以通过重新运算来获得。不过，千万不能因为“可再生”这个词语的存在，就对可再生数据掉以轻心。有些可再生数据是通过很长时间的积累不断加工而成的，是长时间从海量数据中计算出来的。

对于不可再生数据而言，已有的数据要严格保护，想要但是还没有的数据就要及早收集。对可再生数据而言，要及早做好业务的预判和数据处理的规划。这样一来，数据在需要的时候就能够快速的获得应用，我们把这一数据叫做数据中间层。

维度二：以数据所处的存储层次为标准。按照数据所处的存储层次来看，数据可以分为基础层、中间层和应用层。从数据的存储角度来说，数据有很多层次。基础层通常与原始数据基本一致，也就是仅仅存储最基本的数据，不做汇总，以尽量避免失真，从而用作其他数据研究的基础；中间层是基于基础层加工的数据，通常也被认为是数据仓库层，这些数据会根据不同的业务需求，按照不同的主体来进行存放；应用层则是针对具体数据问题的应用，比如作为解决具体问题的数据分析和数据挖掘的应用层的数据。

在存储层这个层面上，最大的问题就是数据的冗余和管理的混乱。尤其是对于一些拥有海量数据的大公司而言，数据的冗余问题尤为严重，由此造成了大量的浪费。在大公司进行数据分析、开发、挖掘的人可能是是数十甚至数百人，这些人可能归属于不同的业务团队，为了满足不同的业务各自分析数据应用。这样一来，不同的人可能都从头开始建立起了一套包括基础层、中间层和应用层的数据，而彼此之间又没有合适的交流方式，也就造成了工作的浪费。

作者认为基础层必须统一，这是因为最基本的数据，而且基本数据是原始数据，除了备份的需求外，没有必要在各个场合保留多份数据。只要保证这个数据有良好的元数据管理方式，就能极大地降低成本。而对于中间层和应用层而言，则要视具体情况而定。如果公司的业务相对单一，且成本压力比较大，则建议集中式管理；如果公司的业务量非常大，则可以由多个数据团队来进行分散式管理和应用，以保证基础层单位有最高的灵活性。

本期的内容到这里就结束了，下期内容会和大家探讨“数据分类的四大维度（3,4）”。欢迎大家关注数据与智能获取更多好内容。

本文的视频版本可以直接点击下面视频观看，欢迎关注数据与智能视频号获取更多精彩视频。