Flink+doris实现实时OLAP数据分析

最新推荐文章于 2024-05-15 17:17:57 发布
最新推荐文章于 2024-05-15 17:17:57 发布
阅读量2.4k 收藏 4
点赞数 1
文章标签： doris olap flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmalds/article/details/110915932
版权
lmalds李麦迪
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
Flink cdc+ doris 大宽表实践~
qq_31866793的博客
11-19 6799
还没整理好，别慌。
基于Flink+Doris构建亿级全端电商实时数据分析平台
05-07
上层应用业务对实时数据的需求，主要包含两部分内容：1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求，都需要进行的下钻分析支持，我们希望能够建立统一的实时OLAP数据仓库，并提供一套安全、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录，再细拆到AB实验更细维度时，数据量则多达上百亿记录，多维数据组合下的聚合查询要求秒级响应时间，这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型，需要满足以下几点：1：数据延迟在分钟级，查询响应时间在秒级2：标准SQL交互引擎，降低使用成本3：支持join操作，方便维度增加属性信息4：流量数据可以近似去重，但订单行要精准去重5：高吞吐，每分钟数据量在千W级记录，每天数百亿条新增记录6：前端业务较多，查询并发度不能太低通过对比开源的几款实时OLAP引擎，可以发现Doris和ClickHouse能够满足上面的需求，但是ClickHouse的并发度太低是个潜在的风险，而且ClickHouse的数据导入没有事务支持，无法实现exactly once语义，对标准SQL的支持也是有限的。所以针对以上需求Doris完全能解决我们的问题，DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库，非常的强大，随着互联网发展，数据量会越来越大，实时查询需求也会要求越来越高，DorisDB人才需求也会越来越大，越早掌握DorisDB，以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解，具体分析指标包含：AB版本分析，下砖分析，营销分析，订单分析，终端分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。整个课程，会带大家实践一个完整系统，大家可以根据自己的公司业务修改，既可以用到项目中去，价值是非常高的。本课程包含的技术：开发工具为：IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点：1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink4.支持ABtest版本实时监控分析5.支持下砖分析6.数据分析涵盖全端（PC、移动、小程序）应用7.主流微服务后端系统8.天级别与小时级别多时间方位分析9.数据库实时同步解决方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大数据企业热门技术栈13.支持海量数据的实时分析14.支持全端实时数据分析15.全程代码实操，提供全部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。  版权归作者所有，盗版将进行法律维权。 
大数据最新Doris实战——结合Flink构建极速易用的实时数仓_flink doris(2)，2024年最新大数据开发开发面试技巧
最新发布
2401_84166811的博客
05-15 288
原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。
基于Flink+Doris构建实时数仓
大数据研习社
03-15 8269
都2022年了，身为大数据工程师的你，还在苦学 Spark、Hadoop、Storm，却还没搞过 Flink？每年双十一，阿里都在 Flink 实时计算技术的驱动下全程保持了“如丝般顺滑”，基于 Flink 的阿里巴巴实时计算平台简直强·无敌。 最恐怖的是，阿里几乎每年的实时计算峰值都达到了破纪录的每秒40亿条记录，数据量也达到了惊人的7TB每秒，相当于一秒钟需要读完500万本《新华字典》！Flink 的强悍之处，阿里已屡试不爽！ 1.阿里为何坚定不移地选择Flink？ 大数据起源于批处理
Apache Flink X Apache Doris构建极速易用的实时数仓架构
wangleigiser的博客
02-14 4053
Doris针对不同的应用场景提供了不同的数据模型，分别为：明细模型，主键模型和聚合模型。明细模型：明细数据存储（日志分析、行为分析）主键模型：相同key的数据覆盖更新（订单状态、用户状态）聚合模型：相同key列value列合并（报表统计、指标计算）
基于Flink+Doris构建电商实时数据分析平台（PC、移动、小程序）
weixin_56746334的博客
05-19 667
点击下载——基于Flink+Doris构建电商实时数据分析平台（PC、移动、小程序） 提取码：u3es DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库，非常的强大，随着互联网发展，数据量会越来越大，实时查询需求也会要求越来越高，DorisDB人才需求也会越来越大，越早掌握DorisDB，以后就会有更大的机遇。 本课程基于真实热门的互联网电商业务场景为案例讲解，具体分析指标包含：AB版本分析，下砖分析，营销分析，订单分析，终端分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动
实战Flink+Doris实时数仓
06-20
在与Flink结合使用时，Doris可以作为实时数仓的存储层，用于接收和处理来自Flink的实时数据流，进行快速的数据分析和报表生成。 课程内容可能涵盖以下知识点： 1. **Flink基础**：了解Flink的基本架构、核心概念...
flink-doris-demo.rar
12-20
总结，通过Flink与Doris的结合，我们可以构建出强大的实时数据分析系统，利用Java API实现数据的高效读写，并借助Flink的流处理能力进行复杂的数据分析任务。理解并掌握这些知识点，对于提升大数据处理的能力至关...
Flink同步Hdfs数据到doris
10-19
在大数据处理领域，Flink作为...通过以上步骤和注意事项，你可以有效地利用Flink将HDFS上的数据同步到Doris，实现高效的大数据实时分析。在实际操作中，应根据具体场景调整配置和优化策略，以达到最佳的性能和稳定性。
Flink CDC和Flink SQL构建实时数仓Flink写入Doris
qq_39177151的博客
06-07 1754
Flink CDC和Flink SQL构建实时数仓Flink写入Doris
数据仓库教程.rar
12-13
目录 译者序 审、译者简介 前言 第1章 决策支持系统的发展 1 1.1 演化 1 1.2 直接存取存储设备的产生 2 1.3 个人计算机/第四代编程语言技术 3 1.4 进入抽取程序 3 1.5 蜘蛛网 4 1.6 自然演化体系结构的问题 5 1.6.1 数据缺乏可信性 5 1.6.2 生产率问题 8 1.6.3 从数据到信息 10 1.6.4 方法的变迁 11 1.7 体系结构设计环境 12 1.7.1 体系结构设计环境的层次 13 1.7.2 集成 14 1.8 用户是谁 15 1.9 开发生命周期 15 1.10 硬件利用模式 16 1.11 建立重建工程的舞台 16 1.12 监控数据仓库环境 17 1.13 小结 19 第2章 数据仓库环境 20 2.1 数据仓库的结构 22 2.2 面向主题 23 2.3 第1天到第n天的现象 26 2.4 粒度 28 2.4.1 粒度的一个例子 29 2.4.2 粒度的双重级别 31 2.5 分割问题 34 2.6 样本数据库 34 2.7 数据分割 35 2.8 数据仓库中的数据组织 37 2.9 数据仓库—标准手册 41 2.10 审计和数据仓库 41 2.11 成本合理性 41 2.12 清理仓库数据 42 2.13 报表和体系结构设计环境 42 2.14 机遇性的操作型窗口 43 2.15 小结 44 第3章 设计数据仓库 45 3.1 从操作型数据开始 45 3.2 数据/过程模型和体系结构设计环境 49 3.3 数据仓库和数据模型 50 3.3.1 数据模型 52 3.3.2 中间层数据模型 54 3.3.3 物理数据模型 58 3.4 数据模型和反复开发 59 3.5 规范化/反规范化 60 3.6 数据仓库中的快照 65 3.7 元数据 66 3.8 数据仓库中的管理参照表 66 3.9 数据周期 67 3.10 转换和集成的复杂性 70 3.11 触发数据仓库记录 71 3.11.1 事件 72 3.11.2 快照的构成 72 3.11.3 一些例子 72 3.12 简要记录 73 3.13 管理大量数据 74 3.14 创建多个简要记录 75 3.15 从数据仓库环境到操作型环境 75 3.16 正常处理 75 3.17 数据仓库数据的直接访问 76 3.18 数据仓库数据的间接访问 76 3.18.1 航空公司的佣金计算系统 76 3.18.2 零售个性化系统 78 3.18.3 信用审核 80 3.19 数据仓库数据的间接利用 82 3.20 星型连接 83 3.21 小结 86 第4章 数据仓库中的粒度 87 4.1 粗略估算 87 4.2 粒度划分过程的输入 88 4.3 双重或单一的粒度？ 88 4.4 确定粒度的级别 89 4.5 一些反馈循环技巧 90 4.6 粒度的级别—以银行环境为例 90 4.7 小结 95 第5章 数据仓库和技术 96 5.1 管理大量数据 96 5.2 管理多介质 97 5.3 索引/监视数据 97 5.4 多种技术的接口 97 5.5 程序员/设计者对数据存放位置的控制 98 5.6 数据的并行存储/管理 99 5.7 元数据管理 99 5.8 语言接口 99 5.9 数据的高效装入 99 5.10 高效索引的利用 100 5.11 数据压缩 101 5.12 复合键码 101 5.13 变长数据 101 5.14 加锁管理 102 5.15 单独索引处理 102 5.16 快速恢复 102 5.17 其他的技术特征 102 5.18 DBMS类型和数据仓库 102 5.19 改变DBMS技术 104 5.20 多维DBMS和数据仓库 104 5.21 双重粒度级 109 5.22 数据仓库环境中的元数据 109 5.23 上下文和内容 111 5.24 上下文信息的三种类型 111 5.25 捕获和管理上下文信息 113 5.26 刷新数据仓库 113 5.27 小结 114 第6章 分布式数据仓库 116 6.1 引言 116 6.2 局部数据仓库 118 6.3 全局数据仓库 119 6.4 互斥数据 121 6.5 冗余 123 6.6 全局数据存取 124 6.7 分布式环境下其他考虑因素 126 6.8 管理多个开发项目 127 6.9 开发项目的性质 127 6.10 分布式数据仓库 130 6.10.1 在分布的地理位置间协调开发 131 6.10.2 企业数据分布式模型 132 6.10.3 分布式数据仓库中的元数据 134 6.11 在多种层次上建造数据仓库 134 6.12 多个小组建立当前细节级 136 6.12.1 不同层不同需求 138 6.12.2 其他类型的细节数据 140 6.12.3 元数据 142 6.13 公用细节数据采用多种平台 142 6.14 小结 143 第7章 高级管理人员信息系统 和数据仓库 144 7.1 一个简单例子 144 7.2 向下探察分析 146 7.3 支持向下探察处理 147 7.4 作为EIS基础的数据仓库 149 7.5 到哪里取数据 149 7.6 事件映射 152 7.7 细节数据和EIS 153 7.8 在EIS中只保存汇总数据 154 7.9 小结 154 第8章 外部数据/非结构化数据与 数据仓库 155 8.1 数据仓库中的外部数据/非结构化数据 157 8.2 元数据和外部数据 158 8.3 存储外部数据/非结构化数据 159 8.4 外部数据/非结构化数据的不同 组成部分 160 8.5 建模与外部数据/非结构化数据 160 8.6 间接报告 161 8.7 外部数据归档 161 8.8 内部数据与外部数据的比较 161 8.9 小结 162 第9章 迁移到体系结构设计环境 163 9.1 一种迁移方案 163 9.2 反馈循环 167 9.3 策略方面的考虑 168 9.4 方法和迁移 171 9.5 一种数据驱动的开发方法 171 9.6 数据驱动的方法 172 9.7 系统开发生命周期 172 9.8 一个哲学上的考虑 172 9.9 操作型开发/DSS开发 173 9.10 小结 173 第10章 数据仓库的设计复查要目 174 10.1 进行设计复查所涉及的问题 175 10.1.1 谁负责设计复查 175 10.1.2 有哪些议事日程 175 10.1.3 结果 175 10.1.4 复查管理 175 10.1.5 典型的数据仓库设计复查 176 10.2 小结 185 附录 186 技术词汇 215 参考文献 222
高性能高扩展的千亿级实时数据仓库全实现（通用企业级解决方案）视频教程
06-10
高性能高扩展的千亿级实时数据仓库全实现（通用企业级解决方案），完整版178讲，提供源码和课件下载！本课程凝聚讲师多年一线大数据企业实际项目经验，大数据企业在职架构师亲自授课，全程实操代码，带你体验真实的大数据开发过程，代码现场调试。通过本课程的学习再加上老师的答疑，你完全可以将本案例直接应用于企业
基于Flink+Doris构建高性能高扩展的全端实时数据仓库视频教程
06-21
基于Flink+Doris构建高性能高扩展的全端实时数据仓库视频教程 课程具体数仓报表应用指标包括：实时大屏分析、流量分析、订单分析、商品分析、商家分析等，数据涵盖全端（PC、移动、小程序）应用，与互联网企业大数据技术同步，让大家能够学到大数据企业级实时数据仓库的实战经验。
Flink写入Doris的实时应用
提拉米苏的博客
01-20 7954
flink写入Doris的实时应用 引言 做实时数仓的同学对目前比较流行的KFC(Kafka\Flink\ClickHouse)套餐非常熟悉，其实KFD也不错。 大数据组件越来越丰富，但是还没有出现一个兼容OLAP和OLTP的工具，即满足DB和日志的实时存储和复杂查询，又能满足在此基础上的数仓建设，我们尝试过ClickHouse，缺点在于难维护、实时写入效率低，内部碎片合并和数据走zk难以实现大量数据的实时存储；之后使用过impala+kudu，缺点是impala实在是太占用内存，两者结合用起来比较费劲，也
【大数据架构】OLAP实时分析引擎选型
话数Science
01-10 1639
Doris，Elasticsearch，Impala，Kylin，Druid，Presto，GreenPlum OLAP分析场景中，一般认为QPS达到1000+就算高并发，而不是像电商、抢红包等业务场景中，10W以上才算高并发，毕竟数据分析场景，数据海量，计算复杂，QPS能够达到1000已经
实时数仓之实时数仓架构(Doris)
道可道非常道
03-21 1526
数据装载由Flink驱动，通过对ODS流进行Join、聚合和转行操作、以及对外部表以Lookup Join方式清洗数据(切记不能过分冗余维度数据，底层对数据做分离是核心设计思想，冗余越是过分、维护成本越高)，明细结果kafka保留一份，并将结果模型数据同步Doris持久保存，以便数据应用引用，Doris数据根据业务情况可以选择基于离线数据回刷昨日数据方案修复数据。从离线数仓同步维表，这类维表实时加工成本太高，且变化不大，可以承担部分不一致性，那么可以采用昨日离线数据同步到redis供etl使用；
如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓
SelectDB
03-20 1701
随着大数据应用的不断深入，企业不再满足离线数据加工计算的时效，实时数据需求已成为数据应用新常态。伴随着实时分析需求的不断膨胀，传统的数据架构面临的成本高、实时性无法保证、组件繁冗、运维难度高等问题日益凸显。为了适应业务快速迭代的特点，帮助企业提升数据生产和应用的时效性、进一步挖掘实时数据价值，实时数仓的构建至关重要。本文将分享如何基于。
大数据实时多维OLAP分析数据库Apache Druid入门分享-下
itxiaoshen博客
02-01 674
了解Apache Druid的基础概念后，本篇进一步研究其核心架构和核心设计原理部分，了解相关外部依赖，对其数据摄取和查询有一定认识，然后通过搭建分布式集群进一步理解其架构组成，最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式
flink+doris 构建实时数仓
03-30
Flink和Doris都是用于构建实时数仓的技术。...通过以上步骤，可以构建一个实时数仓，用于处理、存储和分析实时数据。同时，Flink和Doris都支持水平扩展，可以处理PB级别的数据量，保证了实时数仓的可扩展性和高可用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值