数据仓库怎么搭建?

数据仓库怎么搭建?

在网上一搜,有太多的大厂中厂数仓完整实践的文章,已经能把数仓由哪些组成,各部分如何建设,重点难点和解决方法都讲的很清楚。我接触到的大多数数仓开发者对于数据仓库都有一个较为完整的了解,各个部分也都能说得头头是道。
可另一方面,从我了解到的片面的行业信息来说,除了在网上发文章的那些公司,基本没有会说自己的数据仓库建设的已经比较好的公司,都有着各种各样的问题难以解决。不是没有解决方法,就是有方法但难以实施,实施后效果不佳,有效果无法持续。

我觉得是因为每个公司的情况都各有不同,直接参考做法很难有成效。 各公司有不同的发展阶段,有不同的工作重点,有不同的数据诉求,有不同的组织架构,有不同的资源配置,有不同的工作方法。
别人公司的成功经验,可以借鉴,但难以复制。更何况真的是成功经验,还是粉饰后的绩效?太多文章只写是什么,很少写为什么,只写做了什么,很少写怎么去做。让参考的人无法理解,不能基于自己公司的情况做调整,直接实施又各种冲突(亲身体会了太多照搬后的水土不服)。

基于我个人的经验,我觉得数据完整的流程包含五个环节,生产、采集、处理、服务、应用(有些情况下部分环节没有内容)。

生产是指数据的落库、埋点等,是数据产出的环节。可能有的公司所有数据都是自己的业务系统产出的,也可能有些公司自己不生产任何数据,是从其他公司或平台那里获取的,甚至是找人手动填写的。但数据肯定是在某个时间某个方式生产出来的。

采集是指数据统一存储的过程。数仓的一个特点就是集成,

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值