数据分析师应该了解的数据湖

数据湖

数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。

这是AWS给出的解释。

看了很多数据湖的介绍文章，笔者认为数据胡和我们常说的ODS数据很类似，也就是原始数据的保存区域，存储来自各业务系统（消息队列）的原始数据。比如电商网站的访问日志（埋点的时候是以JSON存储），物联网终端设备实时发送的数据等原始数据直接存储在数据仓库的ODS层。

数据湖为什么火了

做数据仓库已经有ODS数据了，那么怎么突然大家都在提数据湖了？

真正的原因在于数据分析和机器学习这两年成为了主流，可以看看现在的招聘网站，很多招聘数据分析师和算法工程师的岗位，笔者所在城市尤为明显。15年的时候大家都在建立各自的大数据平台，那时候你懂点Hadoop，已经很了不起了。现在各个大数据平台已经建设成熟，逐步为业务服务，越来越多的公司需要利用大数据服务于业务，提升变现能力。

基于大数据建设的数据仓库往往是各个维度的聚合数据，大多服务于传统的报表分析。而机器学习往往需要使用到原始数据，另外很多机器学习用到的也不至于格式化数据，用户的评论，图像等都可以应用到机器学习中。

为什么要有数据湖

可以看下上面的这个组织架构图。数据湖的存在更多的是改变部门的组织架构，毕竟现在大部分公司都更注重业务分析的价值。

传统企业的数据团队被当做IT体系，整天要求提数。现在，数据团队只需要负责提供简单易用的工具，业务部门直接进行数据的使用。这也就是人人具备数据分析能力（人人都是数据分析师）。

数据湖 vs 数据仓库

这是AWS给出的对比，还是比较中肯的。

传统的数据仓库工作方式是集中式的：业务人员给需求到数据团队，数据团队根据要求加工、开发成维度表，供业务团队通过BI报表工具查询或者业务分析系统展示。

数据湖是开放、自助式的：开放数据给所有人使用，数据团队更多是提供工具、环境供各业务团队使用，业务团队进行开发、分析。

和数据仓库不同的是，以前数据仓库都是先设计schema，然后灌入数据。数据湖的schema是随用随生成，随着分析场景不同而不同。关于数据湖的技术实现方面可以了解下 delta lake这个项目（我司的平台部分功能在delta lake这个项目出来之前已经实现了一些功能）。

数据湖对于数据分析师来说对数据的操控性更强，但是要求也更高，不光懂业务，懂sql，懂数据，还要懂大数据处理技术，每个人都在处理自己需要的数据，会造成很多冗余数据存储和计算资源浪费，无法形成共性的可复用的数据层，这方面数仓是有益的补充。数据湖并不是为了颠覆数据仓库，是为了满足数仓无法满足的数据需求，二者是互补的。