企业级离线数仓分层设计和演化之路

最新推荐文章于 2024-09-29 08:32:14 发布
最新推荐文章于 2024-09-29 08:32:14 发布
阅读量73 收藏 1
点赞数
文章标签： 大数据
原文链接：https://mp.weixin.qq.com/s?__biz=MzUyMDA4OTY3MQ==&mid=2247511151&idx=1&sn=79212437401a1ea596a08f8cb04288aa&chksm=f83ce3bbcf5a7edcf9c6b46c302860e9d8f25469cccabc512718122be908c0a4561cde42809f&scene=126&sessionid=0
版权
资深大数据专家金澜涛阐述了他的经验，重点介绍了在前eBayOLAP组担任技术领导期间如何运用IT技术进行数据分析和业务洞察。他强调了数据在企业决策中的重要性以及实际操作中的技术挑战。
摘要由CSDN通过智能技术生成

e376c1442ffda294ad4f6c2510758f82.jpeg07ace692dcb1dbdf15af0b922eee1406.jpegeb8a1b60a49171ac5cae8fe8d225f1e0.jpeg2177a044d4db6587d3b16a9197ee851b.jpeg1cbf56950ab6c8ba7359bf5bd964cdf2.jpegc20fd7e78a8ad9c645e3470a442f0282.jpeg9df00ee4b3410472e48e94ebb057996b.jpeg858c6b72a625a13b6f779efe40eb0015.jpegfef5e0f19c8871432d8968abbe21ab58.jpegf0431015236046dbf23074b4c29d8f4f.jpeg1c7b2d56fe322548233ca881e9df7d8f.jpeg9e301930f4d3ea07bcfcf2d0308565ca.jpeg7e21f3ff76be254bed82c0e01662a3e3.jpege6bb5cb58750c34ef9c92eeeff9cf2f5.jpegf328fa6188528d3ef8ef3794bbe47dc2.jpeg87f4ab20e8ad090086e0b98c335736ab.jpegfed6b7f200234574894198011fe638b2.jpegdaa78116465307034d0288b3497b2a93.jpeg12ebde77e6c69787fdba28114e379466.jpeg299e649cd7da810a6eb46d8c51df0032.jpeg76f886c4890858b60dc16975a4c18784.jpeg585cb6ab6c58f9ccf25b4c383f979a6e.jpeg3a3647fa2e8bf455fb3df657339a916e.jpegd9231bc3ab9e2bbdb43a2c75f5eeece6.jpeg2e0610e783a0d6774ab06802070c52e9.jpege5517d92ea91fb1c2ed2c45f15e2ca3a.jpeg1d955861cbbe35404f11ab958617c6db.jpeg581690df6049a170cce59290f83644e2.jpega0cb122ed40e6ac946c1683164c94975.jpeg3903aa7b4d3fcd743c3e6783cf9c62b2.jpegf2e3836eb05de6c83053ab274a4ccfb0.jpege885d42c1fd62e3973f371ec12775876.jpeg5415c4bcd81dd968f97d1b3a0c41cd38.jpeg23021f636554ccb1e7046526fce39dfb.jpeg46cbe5ca75869152577526235f1fced3.jpeg0c331f48645ff15eba71c3b004d4c550.jpeg6575ccf8b79ae5df26a5b3d5305f58d3.jpegc10c96c8694eb8e82c9abfe42802a20a.jpegab4e4a89c40379ad9f312e9217831d62.jpeg611ec36f0a97ea6cd0855cc3e9975287.jpeg67acd684a826491e63569f6254550299.jpegb3b6e8eb9c7c1fc58fc1b772464d252b.jpeg05fd2c68b84bb4bb3a94f502c5cbb464.jpege199ea6882f2e0e903563d068970c090.jpegcd6c5d52fc0568071346976c7be15c9e.jpegb2cfca454d1443f012987635f3de93ff.jpegcd0bdae9ce8c520f690b00d944c5e1bf.jpeg5b9a60247614a828a398b22de973d373.jpegcc91b769a0779ead06eba6150a6ba700.jpeg4c2c7ab60554fb28882c03d9c3264476.jpeg23cf7613ef093fc7a7c1c8f79674d5c8.jpegc4ec85d1a1590dc8fb4197fde47b8232.jpeg7a0f185aa089567705a0ad8a111d98f4.jpegd826b0a8d833be6e611acde06099df8b.jpeg0f36eb60456ecbfd8ccadd07d788b64d.jpeg7b87f80ae3a1b11a0dc1b353716facce.jpeg138b82ba7cdc2471a683c82482d00add.jpeg0ffff4971bf0b376f21945f84e87a505.jpeg770240fc32ba837f434b9b5a19d43777.jpeg3e0d91ad59e27446de73056a785d076c.jpegbf39eab2871cc09d533d2b0375ddabe4.jpeg6abaf0f793eb3eef23326d6a13fbaced.jpegfe8733fe22637db23365383e2e545a80.jpeg

分享人：金澜涛，资深大数据专家，前eBay OLAP组技术Leader

af88fc30e5f1355a245128c54378d47a.png

浪尖聊大数据-浪尖
关注
离线数仓和实时数仓的区别
weixin_49880348的博客
02-27 6264
作者介绍 @车云祥 大宇无限 数据产品负责人 主要负责全公司底层数据治理，构建统一指标体系； 主导 BI 系统、用户画像系统、广告投放平台、广告流量优化等设计工作； 推动 Snaptube、LarkPlayer、Zapee 等明星产品与数据紧密结合，实现高效运转；通过对业务需求深度梳理、数据方案高质量设计、数据分析洞察与优化、营销策略闭环输出的不断实践，帮助公司实现数据驱动业务增长； “数据人创作者联盟”成员。 01数仓架构演变 20世纪70年代，MIT(麻省理工)的研究员致力于..
离线数仓与实时数仓的比较
ytp552200ytp的博客
03-16 890
离线数仓与实时数仓的比较
数仓建设（离线和实时）
ashan
02-26 5219
文档大纲： 一、数仓基本概念 1. 数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。 这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面的数仓架构图： 数仓架构 上图中显示的整个数据仓库环境包括操作型系统和数据仓
离线+实时数仓建设方案
ytp552200ytp的博客
03-16 2638
离线+实时数仓建设方案
数仓建设保姆级教程，离线和实时一网打尽(理论+实战)
yuan_more的博客
12-14 3033
本文大纲： 因内容较多，带目录的PDF查看是比较方便的，点击下方链接获取完整PDF版： 数仓建设保姆级教程PDF文档 一、数仓基本概念 1. 数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。 这里参考此定义，把数据仓库架构理解成构成数据仓库的组
数仓建设保姆级教程，离线和实时理论+实战)
过往记忆大数据
12-10 3392
文档大纲：一、数仓基本概念1. 数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种...
数仓基础（六）：数仓架构演变
Lansonli（蓝深李）的博客
08-23 1285
但是很快，他们也发现自己陷入了某种困境：随着数据集市的不断增多，这种架构的缺陷也逐步显现，公司内部独立建设的数据集市由于遵循不同的标准和建设原则，以致多个数据集市的数据混乱和不一致，解决以上问题，还需回归到范式建模。在Lambda架构中，为了计算一些实时指标，就在原来的离线数仓基础之上增加了一个实时计算的链路，并对数据源做流式改造：把消息发送到消息队列中（大数据中常用Kafka），实时计算去消费消息队列中的数据，完成实时指标计算，推送到下游的数据服务中去，由数据服务层完成离线与实时结果的合并。
实时电商数仓建设V4.0
ytp552200ytp的博客
06-06 570
基于Lambda架构的实时电商数仓建设
实时数仓方案如何选型和构建
weixin_43597208的博客
08-15 1229
本文介绍了市面上常见实时数仓方案，并对不同方案的优缺点进行了介绍。在使用过程中我们需要根据自己的业务场景选择合适的架构。另外想说明的是实时数仓方案并不是“搬过来”，而是根据业务“演化来”的，具体设计的时候需要根据自身业务情况，找到最适合自己当下的实时数仓架构。...
作业帮实时数仓架构中的Doris是如何发挥神威的，一文玩儿透（建议收藏）
学而知之@的博客
06-07 947
关 注 公 众 号，获 取 更 多 技 术 好 文~摘要：今天分享的内容是Doris在作业帮实时数仓架构中的应用及实践分享时间：2021年6月05日内容分享：利敏摘要整理：皮卡丘主要内容...
数据湖及湖仓一体化项目学习框架
Lansonli（蓝深李）的博客
10-09 4106
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但又很重要，这里我就不在详述作用，有兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标这个栏目为初学者全面整理数据湖必学知识，内容是按照体系划分的，带你从基础知识到项目实战，想学会就得自律加坚持，赶快行动吧。1、数据湖技术Hudi。
论数据湖与数据仓库一体化设计的必要性
None
03-26 889
数据湖概念数据湖最早是由Pentaho的创始人兼CTO，James Dixon，在2010年10月纽约 Hadoop World大会上提出来的。当时Pentaho刚刚发布了Hadoop的第...
标签类目体系（面向业务的数据资产设计方法论）-读书笔记5
baidu_38792549的博客
09-02 1237
1.1.1 数据认知1.1.2 数据架构DT时代，数据架构是用来保障数据流通畅，使数据资源运转为数据资产并作用于业务、产品商业价值的生命线。1.1.3 执行保障1.1.4 价值驱动数据资产价值的实现为最根本目标。要打通哪些数据，构建哪些数据资产，如何治理优化，构建怎样的数据架构，配套哪些支撑，都需要从价值出发去思考。1.1.5 场景能力面对不确定的未来，企业需要一种柔性的数据支撑能力：数据项之间、数据项和数据服务之间是松耦合的、能随时拆分，也能随时组合。
Kafka快速实战与基本原理详解
最新发布
xajh_czbk的博客
09-29 450
消费消息：但是迟迟没有消费（因为kafka默认是从消费者启动之后开始消费，也就是说刚才发的那条消费不到，原因是那个时候消费者还没有启动。）我们现在启动了消费者了，可以尝试发消息了。另一种消费方式：指定从哪里消费。刚才第一次消费的时候没有消费test1，原因上面有写。这里的这个命令就可以消费到全部了,因为指定了从哪里消费。说白了，队列里的消息只能被同一个消费者组里面的一个消费者消费。关键他还可以重复消费。启动好了kafka之后，我们再去看ZK中的节点多了这些。创建一个主题并看一下：有了主题后就可以发消息了。
如何实现全行业证照一站式结构化识别？Textln企业资质证照识别上线！
b_qixin的博客
09-26 403
对于无Key的Value信息，例如下图中的证照名称“药品经营许可证”，模型也可基于强大的语义理解能力与所具备的专项领域知识，实现准确完整的关键信息抽取。，并理解信息间的对应关系，以“K-V对”的形式自动实现证照中全部关键信息的结构化抽取，提升信息数据的提取和录入效率。除抽取证照中的文本信息外，模型集成了印章检测能力，可以捕捉资质证照中的印章信息，并输出印章的类型、颜色、形状及内容。自动识别录入企业经营资质信息，可应用于机构开户、经营性贷款审批等金融服务场景，提升信息录入效率，控制业务风险。
基于Hive和Hadoop的哔哩哔哩网站分析系统
图南的博客
09-27 595
本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。
从 Kafka 到 WarpStream： 用 MinIO 简化数据流
MinIO
09-27 1104
虽然 Apache Kafka 长期以来一直是流数据的行业标准，但新的创新替代方案正在重塑生态系统。其中之一是 WarpStream，它最近在 Confluent 的所有权下进入了新的篇章。此次收购进一步增强了 WarpStream 提供高性能、云原生数据流的能力，巩固了其作为 Kafka 的可扩展且经济高效的替代方案的地位。本教程将引导您开始使用 WarpStream 和 MinIO，并解释结合使用这些工具如何为您的流媒体架构提供简单性、灵活性和成本节约。
当微服务中调度返回大数据量时如何处理
ZDFXN的博客
09-27 560
总之，当需要返回大数据量时，可以根据具体的需求和技术特点选择合适的方案。同时，通过限制每页显示的数据条数，可以减少网络传输的负担。同时，通过分布式计算，可以实现数据的并行处理，提高处理效率。同时，通过异步处理，可以避免阻塞主线程，提高系统的并发能力。适用场景：适用于需要实时处理大量数据的场景，如电商网站的实时交易监控、物联网设备的数据采集等。适用场景：适用于需要展示大量数据列表的场景，如电商平台的商品列表、社交媒体的动态列表等。适用场景：适用于需要频繁读取同一份数据的场景，如用户信息查询、热点数据统计等。
离线数仓分层事如何设计的
07-29
离线数仓的分层设计通常包括贴源层（ODS）、明细层（DWD）、维度层（DIM）、轻度聚合层（DWS）、主题层（DWT）、数据中间层（DWM）和结果展示层（ADS）\[1\]。 贴源层（ODS）是数仓中最底层的层次，用于接收和存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值