一个人可以搭建数仓吗

一个人可以搭建数仓吗？

以下只是当前个人的感想，随着时间和成长，也许观点横看成林侧成峰，只是作为本人的心路历程，有什么错误欢迎交流和指出

如果非要个确切的答案，我觉得不可以。
不求原因，回答到现在就结束了。因为太难了呗
但是对于了解和思考的人，或者有所尝试的人，我希望给出自己的想法。
主要是以下几个方面几点

1.数仓场景不适合，符合数仓场景的业务太大了，你把握不住
2.你见到的不一定是数仓场景，大数据的一套技术和理论的通用的数据仓库，会有所不同
3.因为场景和可能受限技术原因，一个人使用框架和开发的经验有限

说白了 都数据仓库这么大的场景了，恐怕把握不住

1.数仓场景下不适合

如果大家对维度建模有所了解，大家一定知道。数仓的概念是监控和分析业务系统的运行情况。Kimball的书中也大量描述了类似的场景。比商业系统，仓库系统，财务分析系统。这些场景的一个要点就是大而多。
举个例子，如果你只有一家店，那其实，所谓的收入和盈利还是蛮清楚的，什么人喜欢什么产品也有自己的经验。但是如果是5家店呢，如果是100家店呢。老板当然希望看到自己的商店的运行情况，什么人买什么产品最多。什么时候买的最少，再进行相应的营销举措。这就是数仓的初衷，看看运行的怎么样呗，我有没有赚钱。
但是如果一家店，大可不必建立一个系统，会画蛇添足。数仓的场景往往是面对类似的问题。也是大数据通常面对的场景(数据仓库)
符合数仓定义的环境之下
人家都有这么多家店铺了，这么多的业务支持，怎么会只让你一个人来搭建数仓呢，况且，对于效率来说。三头牛同时耕地的效率是比一头强壮的牛更好的。一个人效率低。

2.面对场景的问题

先不论有多难，技术能不能实现，还要一个面对场景的问题。搭建数仓这个东西往往是企业之前没有相关的技术投入。大家对这个技术印象有差异
对”大数据”这个概念，通常的观点是万物皆记录(大数据推荐)，或者是一听起来是高高在上的技术。习惯性的认为这个技术和前后端技术一样，java或者C，是个”新人”。网上描述这个技术有点空泛，一上来就数仓建模很多东西。一上来就不知道是干嘛。就感觉很厉害，但是所谓的大数据技术都没有描述一个东西，就是当前大数据这个技术是面对数据仓库的。
以至于有所误导。
其实具备数据仓库定义的企业并不多。就是没有这么庞大的业务体系。只是感觉，这里需要大量数据的承载能力。所以希望借助大数据技术，如果不小心被javaboy发现了 你原来是sqlboy，心理也许会有落差。数据仓库这个体系就是由sql构成的。其实大数据不是”新人”，他属于语言体系发展出来的框架体系，是后后端。是java的孩子哦。
这就出现了，java体系和大数据框架体系之间的冲突。如果大家在一起工作，就会感受到这个冲突所在，java一直在开发功能，而大数据其实是在使用功能。尤其是非数仓场景下，所谓的信息加工方式和处理，并不只能是sql的加工方式时。会有一些无力和落差(emm其实是我了 极端一点的话 比如进行数学类运算和文字图像识别。）

3.因为场景和可能受限技术原因

大数据是偏框架化的
这个就到了技术实现了，大数据其实是偏框架化的。也偏工具
化(之前不是有篇文章挺火的 为什么大数据平台要回归sql 其实是spl的宣传)。
比如同样是大数据的数据库，你可以用Hadoop hive体系 也可以用doris。因为我们都在使用框架、所以由于大数据服务发展的原因，你可能是负责ETL的，也可能是负责BI的，也可能是负责构建的，也可能是业务组。我们每个人的分工掌握和运用的框架不同，虽然都是大数据开发。而且同步的组件，存储的组件也不一定相同。但是在一套使用平台里，往往是固定的。

所以从0到1进行大数据开发时，会由于场景带来框架的不同，可能没有对应框架的使用经验。当然更占优势的是有过构建平台经验的人。大数据是一个基于使用框架的技术，框架还蛮多的，可能会有技术没有接触和尝试过。尤其使用已经集成好的构建一体化平台，比如阿里云，华为云(虽然平台化是大数据的发展趋势 平台和工具化)。会困在在别人集成好的平台使用经验里，构建者往往不能停留在一套框架上，不能在一棵树上吊死。
由于大数据是框架化开发的原因，我们可能没有一个人面对的经验。也不具备平台化的构建经历和能力。

当然最重要的是，人力。一个人就是一个人的搭建方法。一个人不能具备大集群的使用和运维能力。
随着体系过大比如 权限管理 多租户 海量访问。这些都会让平台复杂化，一个人没必要这样。我有个比喻（sparrow虽小 五脏俱全），这就是对于同样场景大小，大数据技术应用方式的不同。emmm,就是不能在家里下了一个海底捞的火锅底料，去假装吃了海底捞(吃起来是差不多)。
…

以上分享就结束啦，希望大家在技术的路上 砥砺前行。活在自己的努力中
也希望自己日后回看时，有自己的体会
2023-02-19