Flink 与 TiDB 联合发布实时数仓最佳实践白皮书

 GitHub 地址 

欢迎大家给 Flink 点赞送 star~

7 月 24 日,Apache Flink 社区与 PingCAP 在 DevCon 2021 技术峰会上联合发布了「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」,为企业用户构建实时数仓,应对实时洞察挑战提供最佳实践指南。

「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」

(扫码下载)

随着数字化进程的加速,越来越多的企业正面临前所未有的数据规模挑战;日趋加剧的商业竞争,也使得外部用户和公司内部决策者都无法依赖传统时效性不佳的离线数据分析;海量,实时,在线的数字化新常态需要更实时的数据分析,甚至是对正在发生的交易数据进行分析,以支撑更加敏捷的商业决策。

Apache Flink PMC & 阿里巴巴资深技术专家杨克特受邀出席,并在白皮书发布仪式上表示,Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台,可以支持低延迟、高吞吐、高性能的流处理,广泛应用于高实时性场景下的实时计算。

PingCAP 社区事业部总经理姚维表示,TiDB 是一款领先的具备完整 HTAP 能力的企业级分布式数据库,可以在一份数据源上同时支撑在线事务处理 (OLTP) 和在线分析处理 (OLAP) 场景,不但能良好地支持实时数据落地存储,也可以提供一体化的分析能力。

借助 Flink 出色的流批一体技术,TiDB 与 Flink 一起探索为用户构建一个实时数仓最佳实践方案,满足了用户实时洞察实时决策的分析需求。本次发布的 「TiDB & Flink 实时数仓最佳实践白皮书」,融合了双方的技术优势,可以为用户提供一栈式实时数据仓库最佳实践,支持企业进行实时数据分析,助力敏捷的商业决策。

开源是当前全球化背景下基础软件领域成功的最佳路径。Flink 连续 3 年蝉联全球最活跃的 Apache 开源项目,拥有超过 20W 开发者关注。不仅如此,Flink GitHub 的星数和 Flink 的社区代码贡献者数量,在过去数年中一直保持年均 30%+ 的增长。

未来,无论是 Apache Flink 社区还是 PingCAP,都将继续与更多开源技术社区探索技术合作,构建有生命力的开放生态体系。

「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」

(扫码下载)


实时数仓 Meetup 议题征集:

8 月 29 日左右 (时间暂定),Flink 社区计划举办 Meetup 实时数仓专场,现征集议题中!

关于实时数仓,大家的关注度一直很高,目前业界也有许多落地的公司。在 Meetup 实时数仓专场, 我们将更加注重 “交流”,希望将大家聚集在一起相互探讨关于实时数仓的话题,重点在踩过的坑、碰到的痛点都是怎样解决的~

现征集实时数仓 Meetup 的议题,围绕 “实时数仓踩坑痛点和避坑经验”,欢迎各位老师和同学带上贵公司的介绍,以及议题的初步大纲来找小松鼠。

公司不议大小,经验才论足缺。我们会选取其中最具代表性的议题,邀请您参加实时数仓 Meetup 专场~ 你们的经验对于其他技术开发者和 Flink 社区都很重要!

扫码添加小松鼠微信 ▼


更多 Flink 相关技术问题,可扫码加入社区钉钉交流群~

▼ 关注「Flink 中文社区」,获取更多技术干货 ▼

   戳我,获取白皮书~

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
随着互联网时代的到来,数据的价值得到了极大的提升。而为了能够更好地利用数据,实时数仓成为了众多企业所钟爱的一种数据架构。而阿里巴巴的严选平台,就是基于flink实时数仓的典范。 严选平台的实时数仓主要架构为3层:数据采集层、实时计算层和数据归档层。其中数据采集层负责实时采集业务数据,实时计算层则是通过flink技术支持的流式计算引擎来进行实时数据处理,数据归档层则是将计算好的数据进行存储和归档。 在实际实践中,严选平台的实时数仓除了采用flink的流式计算引擎,还采用了阿里巴巴自研的Oceanus和Tddl技术来提高数据处理的效率和精度。同时,为了解决实时数据处理产生的数据倾斜问题,严选平台还引入了自适应负载均衡算法来实现数据均衡分配,从而提高系统的稳定性和处理速度。 严选平台的实时数仓对数据的处理效率和精度要求非常高,这对于flink技术的运用提出了更高的挑战。为此,严选平台在技术实践中也采用了多种技术手段来提高flink的优化度和吞吐量,例如数据分片、数据缓存、数据压缩等。 总之,基于flink的严选实时数仓实践,不仅提高了精度和效率,而且转化了数据的价值,促进了企业的快速发展。未来也将有越来越多的企业应用这种数据架构,以期望在竞争激烈的市场环境中获取更大的竞争优势。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值