Apache Flink新场景 | OLAP引擎

最新推荐文章于 2024-04-15 20:43:19 发布
最新推荐文章于 2024-04-15 20:43:19 发布
阅读量655 收藏
点赞数

大数据技术与架构

点击右侧关注，大数据开发领域最强公众号！

暴走大数据

点击右侧关注，暴走大数据！

本文作者来自阿里巴巴的贺小令，探讨了Flink在OLAP中的应用，之前我个人写过两篇关于OLAP的文章：

《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(上)》

《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(下)》

希望此文对大家有所启发。

欢迎点赞+收藏+转发朋友圈素质三连

文章不错？点个【在看】吧！ ????

王知无(import_bigdata)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
5.贺小令-FFA2019-Apache-Flink新场景-OLAP引擎_compressed1
08-03
总结来说，Apache Flink的OLAP引擎是针对实时分析和大规模数据处理的一个创新尝试，它结合了流处理和OLAP的能力，为现代数据仓库提供了新的解决方案。随着技术的发展，我们可以期待Flink在OLAP领域的表现会更加出色...
Improvements of Job Scheduler and Query Execution on Flink OLAP
Ververica的博客
03-31 285
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自字节跳动基础架构工程师方勇在 Flink Forward Asia 2021 核心技术专场的演讲。主要内容包括：背景问题和分析调度执行优化未来计划Tips：点击「阅读原文」查看原文视频 & 演讲PDF～一、背景字节跳动的很多的业务方都有混合计算的需求，希望一套系统既支持 TP 计算，也支持 ...
青训营-流/批/OLAP 一体的Flink引擎介绍
m0_73426012的博客
09-13 173
2）执行引擎层(Runtime 层) :执行引擎层提供了统一的DAG， 用来描述数据处理的Pipeline,不管是流还是批，都会转化为 DAG图，调度层再把DAG转化成分布式环境下的 Task, Task 之间通过Shuffle传输数据;并且Flink 在流批一体上，从上面的API到底层的处理机制都是统一的，是真正意义上的流批一体。.基于文件的Pull Based Shuffle,比如Spark或MR，它的特点是具有较高的容错性，适合较大规模的批处理作业，由于是基于文件的，它的容错性和稳定性会更好些;
实时数仓构建：Flink+OLAP查询的一些实践与思考
鲁边的博客
04-15 964
以Flink为主的计算引擎配合OLAP查询分析引擎组合进而构建实时数仓，其技术方案的选择是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会实实在在遇到的问题
BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化
Ververica的博客
02-08 427
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自 BIGO Staff Engineer 邹云鹤在 Flink Forward Asia 2021 的分享。主要内...
流批OLAP一体的flink引擎
zhaicheng55的博客
09-05 1043
Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代码被复制并捐赠给了 Apache 软件基 金会， 参加 这个孵化项目的初始成员是Stratosphere 系统的核心开发人员，2014 年 12 月，Flink 一跃成为 Apache 软件基金会的顶级项目。
Flink-流/批/OLAP一体得到Flink引擎
qq_61189986的博客
07-27 423
Flink对于流和批提供两种类型Shuffle，虽然Streaming和BatchShuffle在具体的策略上存在一定的差异，但本质上都是为了对数据进行Re-Partition，因此不同的Shuffle之间是存在一定共性的。（1）基于文件的PullBasedShuffle，比如Spark或MR，其特点是具有较高的容错性，适合较大规模的批处理作业，由于是基于文件的，它的容错性和稳定性会更好一些。...
藏经阁-Flink Forward China ——Apache Kylin_大数据OLAP利器.pdf
09-09
Apache Kylin是 Apache 软件基金会下的一款开源的大数据OLAP（Online Analytical Processing）引擎，具有高性能、可扩展、高并发和低延迟等特点。 Kylin 是基于Hadoop的OLAP解决方案，可以与大多数大数据生态系统...
Flink大数据讲义1
08-04
【Flink大数据讲义1】 Apache Flink是一个强大的开源流处理框架...在OLAP场景中，Flink可以与Hadoop生态系统集成，实现实时数据导入和分析，提高数据处理的时效性，降低数据延迟，从而更好地满足现代企业的分析需求。
flink clickhouse sink
02-07
标题 "flink clickhouse sink" 指的是 Apache Flink 流处理框架与 ClickHouse 数据库集成的一种数据接收器，即 Flink 的 ClickHouse Sink。这个组件允许 Flink 应用程序将处理后的数据流实时写入 ClickHouse，实现...
flink样例完整代码
最新发布
05-31
标题 "flink样例完整代码" 暗示了我们关注的是Apache Flink这个开源流处理框架的示例代码集合。Flink是一个用于处理无界和有界数据的开源流处理框架，它提供了低延迟、高吞吐量的数据处理能力，并且支持事件时间和...
快手万亿级实时+OLAP+平台的建设与实践.pdf
05-20
快手万亿级实时+OLAP+平台的建设与实践.pdf
Apache Flink 和 Elasticsearch 助⼒实时 OLAP 平台.pdf
12-26
Apache Flink 和 Elasticsearch 助⼒实时 OLAP 平台.pdf；去哪儿网实时计算
olap分析引擎——Kylin4.0
友培的博客
06-18 1242
alop分析利器---预计算神器kylin
Flink OLAP 在字节跳动的查询优化和落地实践
字节跳动云原生计算官方账号
04-12 309
业务落地情况字节 Flink OLAP 上线以来接入了包括 User Growth、飞书、电商和幸福里等 12 家以上核心业务方，集群规模达到 1.6 万 Core 以上，每天的查询规模超过 50w 次，单集群支持了复杂查询高峰期的 200 QPS，同时 Query Latency P99 控制在 5s 以内，较好的满足了业务的性能需求。架构Flink OLAP 的总体架构分为 Flink SQL Gateway 和 Flink Session Cluster 两部分。
Flink学习笔记（一）Flink简介
番茄炒蛋三分糖
05-19 980
1. Flink简介 Flink 是 Apache 基金会旗下的一个开源大数据处理框架。 Flink 的官网主页地址：https://flink.apache.org/ 在 Flink 官网主页的顶部可以看到，Flink的核心目标，是“数据流上的有状态计算”（Stateful Computations over Data Streams）。 1.1 Flink框架处理流程 1.2 OLTP和OLAP 联机事务处理OLTP（on-line transaction processing） OLTP是传统的关
Flink+Druid构建实时OLAP的探索
08-09 1070
场景 k12在线教育公司的业务场景中，有一些业务场景需要实时统计和分析，如分析在线上课老师数量、学生数量，实时销售额，课堂崩溃率等，需要实时反应上课的质量问题，以便于对整个公司的业务情况有大致的了解。 方案对比 对比了很多解决方案，如下几种，列出来供参考。 方案实时入库SQL支持度 Spark+CarbonData 支持 Spark SQL语法丰富 ...
Flink 新场景：OLAP 引擎性能优化及应用案例
Ververica的博客
04-17 1095
摘要：本文由阿里巴巴技术专家贺小令（晓令）分享，主要介绍 Apache Flink 新场景 OLAP 引擎，内容分为以下四部分：背景介绍Flink OLAP 引擎案例介绍未来计划Tips...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值