Flink Forward Asia 2020 第一天小记

已于 2022-05-09 11:41:05 修改
阅读量218 收藏
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： 大数据 flink spark kafka hadoop
于 2020-12-13 21:43:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/111148377
版权
Flink Forward Asia 2020大会上，各公司分享了他们的实时数仓实践与优化。阿里王峰介绍了流批一体的实时数仓和数据湖架构，美团和快手讨论了状态引擎优化和故障恢复策略，网易云音乐展示了Flink SQL平台建设的挑战与解决方案，京东、有赞和58集团分享了各自在Flink上的应用与改进。腾讯游戏和知乎则关注于连接器开发和实时数仓架构。
摘要由CSDN通过智能技术生成

13 号上午主会场

阿里王峰

拥抱开源，参与开源，贡献开源

  • unaligned checkpoint：checkpoint 优化，在反压的情况下优化 checkpoint 成功

  • failover 容错机制，由 full 重启变成单点重启

  • nexmark 流处理的标准 banchmark

  • 全新的流批一体架构，1.13流批 算子全部统一

流批一体实时数仓架构

流批一体的数据湖架构

了解本专栏 订阅专栏 解锁全文
flink_forward_asia_2019.zip
12-04
flink forward aisa 2019 所有的PPT，货真价实。每个PPT都是各大公司的专家编写，价值不可衡量，更有PMC的核心PPT.
Flink Forward Asia 2020 全部 PPT 开放下载
http://www.54tianzhisheng.cn/
12-21 567
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章Flink Forward Asia 2020 在北京召开的，有主会场和其他会场...
Flink Forward Asia 2020 回顾 - 【70+演讲PDF免费下载！】
明哥的IT随笔
12-21 461
2020年12月13日-15日，Flink Forward Asia 2020 在线峰会圆满落幕。实时计算驱动数字化转型，算力重构数据价值，数据实时化、智能化已成必然趋势。在此背景下， F...
flink forward Asia 2020线上峰会
雨的博客
12-21 465
【70+演讲PDF免费下载！】最全 Flink Forward Asia 2020 回顾 阿里云实时计算Flink 2020-12-17 1904浏览量 简介： 12月13日-15日，Flink Forward Asia 2020 在线峰会圆满落幕。为期三天的会议中，Flink 社区以超多干货，丰富内容打造了一场大数据与 Apache Flink 的全技术盛宴。 12.JPG 12月13日-15日，Flink Forward Asia 2020 在线峰会圆满落幕。实时计算驱动数字化转型，算力重构数据价值，
Flink 在快手实时多维分析场景的应用
Ververica的博客
06-11 1626
摘要：作为短视频分享跟直播的平台，快手有诸多业务场景应用了 Flink，包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink ...
Flink Forward Asia 2021PPT合集（79份）.zip
04-30
Flink Forward Asia 2021PPT合集（79份）。 通过大会可以了解到国内外一线厂商围绕 Flink 生态的生产实践经验。 工商银行实时大数据平台建设历程及展望 实时计算的发展与展望 深度解析Flink细粒度资源管理 美团...
2021 Flink Forward Asia 大会资料汇总，共79份
04-23
标题提及的是“2021 Flink Forward Asia 大会资料汇总”，这表明这是一个关于Apache Flink技术的大型会议活动，Flink Forward Asia是全球范围内聚焦于Flink技术的重要年度盛会。2021年的大会特别汇集了79份资料，...
2024年Flink Forward Asia 2024 - 总结和展望（附PPT下载链接），全网独家首发
最新发布
ghfgjfg679的博客
05-04 1391
三天的 FFA，感触颇深。Flink 创始人之一 Ververica CEO Kostas Tzoumas 感慨说，五年前当他们 5 个初创刚刚开始 Flink 这个项目的时候无法想象今天 Flink 能有如此大的生态和如此广的应用。虽然我无法深切体会到他的感受，但是当前 Flink 社区的繁荣和 Flink 的应用广度是有目共睹的，但更重要的问题是：未来我们如何延续这种繁荣。Flink 在经历了高性能流式引擎，批流一体两代发展后，我们确实需要思考一下未来的 Flink 是什么样的。
360数据开发资深工程师将出席Flink Forward Asia 2019
360技术
10-31 354
Apache Flink（以下简称 Flink）作为下一代大数据计算引擎以其高吞吐低延时的优异实时计算能力帮助企业和开发者实现数据算力升级，支持海量数据的亚秒级快速响应，...
资源消耗降低2／3，Flink在唯品会实时平台的应用
weixin_43298663的博客
02-08 307
　　讲师介绍 　　 　　王新春 　　唯品会高级经理 　　在唯品会负责实时平台相关内容，主要包括实时计算框架、提供实时基础数据及机器学习平台的工作。 　　曾在美团点评同样负责大数据平台工作，在大数据实时处理方向积累了丰富经验。 　　本文主要内容包括以下几个方面： 　　唯品会实时平台现状； 　　Flink在唯品会的实践； 　　Flink On K8S； 　　最新项目进展。 　　一、唯品会实时平台现状 　　目前在唯品会，实时平台并不是一个统一的计算框架，而是包括Storm、Spark、
Flink Forward Asia 2020，明天见！
Ververica的博客
12-12 699
12月13日，Flink 社区年度盛会 Flink Forward Asia 2020 即将重磅开启！2020 年是 Flink 社区快速发展的一年。这一年我们反复剖析 Apache F...
快手大数据架构演进实录
luoqinglong的专栏
04-20 2153
快手大数据架构团队组建于 2017 年，短短三年间已搭建起一个万亿级规模的大数据架构体系。快手的大数据架构是怎样演进的？在春晚红包活动中遇到了哪些挑战，又是如何应对的？在 Hadoop 的应用上，快手有何经验可供业界参考？带着这些问题，InfoQ 记者采访了 QCon 北京 2020 调度系统实践专题出品人，快手高级架构师、大数据架构团队负责人赵健博。以下为采访实录。 能否详细给我们介绍一下快手...
重磅发布！Flink Forward Asia 2020 在线峰会预约开启！
Ververica的博客
11-04 1192
当这个时代到来的时候，锐不可当。万物肆意生长，尘埃与曙光升腾，江河汇聚成川，无名山丘崛起为峰，天地一时无比开阔。——吴晓波《激荡三十年》从结绳记事到量子计算，从飞鸽传书到万物互联，两岸风...
Niubility (分享一) Flink 在快手实时多维分析场景的应用
HANG.NIAN
06-15 3130
摘要：作为短视频分享跟直播的平台，快手有诸多业务场景应用了 Flink，包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。主要内容包括： Flink 在快手应用场景及规模 快手实时多维分析平台 SlimBase-更省 IO、嵌入式共享 state 存储 Flink 在快手应用场景及规模 首先看 Flink 在快手的应用场景和规模。 1. 快手应用场景 ...
Flink在快手实时多维分析场景的应用
hellozhxy的博客
06-18 397
导读：作为短视频分享跟直播的平台，快手有诸多业务场景应用了Flink，包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用Flink 在实时多维分析场景的应用与优化。 主要内容包括： Flink 在快手应用场景及规模 快手实时多维分析平台 SlimBase-更省 IO、嵌入式共享 state 存储 01 Flink 在快手应用场景及规模 首先看 Flink 在快手的应用场景和规模。 1. 快手应用场景 快手计算链..
基于 Apache Flink 的实时监控告警系统
http://www.54tianzhisheng.cn/
04-16 7783
点击上方“zhisheng”，选择“设为星标”后台回复”666“获取公众号专属资料本文首发自本人的知识星球《Flink 精进学习》，文末点击阅读原文可以查看对应讲解的视频在如今微服务、云...
从 0 到 1 搭建一套 Flink 的监控系统
http://www.54tianzhisheng.cn/
06-18 6404
点击上方“zhisheng”，选择“设为星标”后台回复"666"，获取新资料之前讲解了 JobManager、TaskManager 和 Flink Job 的监控，以及...
如何统计网站各页面一天内的 PV 和 UV？
http://www.54tianzhisheng.cn/
09-22 5114
大数据开发最常统计的需求可能就是 PV、UV。PV 全拼 PageView，即页面访问量，用户每次对网站的访问均被记录，按照访问量进行累计，假如用户对同一页面访问了 5 次，那该页面的 PV 就应该加 5。UV 全拼为 UniqueVisitor，即独立访问用户数，访问该页面的一台电脑客户端为一个访客，假如用户对同一页面访问了 5 次，那么该页面的 UV 只应该加 1，因为 UV 计算的是去重后的...
Flink Forward Asia 2020：贾扬清解析大数据与AI一体化趋势
Flink Forward Asia会议和Flink极客挑战赛的参与人数和规模也反映了开发者对Flink的广泛关注和积极参与。 最后，文章提及了开源技术对云计算发展的重要性，尤其是对于云标准化的推动作用。开源使得云技术更加标准化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值