2019年05月_Apache Flink

原创流计算框架 Flink 与 Storm 的性能对比

本文作者：孙梦瑶 | 美团点评本文主要内容：通过将分布式实时计算框架 Flink 与 Storm 进行性能对比，为美团点评实时计算平台和业务提供数据参考。一. 背景Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保...

2019-05-30 21:29:35 1016 2

原创应用案例 | Blink 有何特别之处？菜鸟供应链场景最佳实践

本文授权转自阿里技术官方公众号（ali_tech）：菜鸟供应链业务链路长、节点多、实体多，使得技术团队在建设供应链实时数仓的过程中，面临着诸多挑战，如：如何实现实时变Key统计？如何实现实时超时统计？如何进行有效地资源优化？如何提升多实时流关联效率？如何提升实时作业的开发效率？而 Blink 能否解决这些问题？下面一起来深入了解。背景菜鸟从2017年4月开始探索 Blink（即 Apach...

2019-05-29 15:30:26 604

原创原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录：Apache Flink 应用程序中的 Exactly-Once 语义Flink 应用程序端到端的 Exactly-Once 语义示例 Flink 应用程序启动预提交阶段在 Flink 中实现两阶段提交 Operator总结Apache Flink 自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性：TwoPhaseCommitSinkFunc...

2019-05-29 15:28:55 620

原创从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

作者：陈越晨整理：刘河本文将为大家介绍Apache Flink在爱奇艺的生产与实践过程。你可以借此了解到爱奇艺引入Apache Flink的背景与挑战，以及平台构建化流程。主要内容如下：爱奇艺在实时计算方面的的演化和遇到的一些挑战爱奇艺使用Flink的User Case爱奇艺Flink平台化构建流程爱奇艺在Flink上的改进未来工作爱奇艺简介爱奇艺在2010年正式上线，...

2019-05-22 16:24:29 669

原创入门教程 | 5分钟从零构建第一个 Flink 应用

本文转载自 Jark’s Blog ，作者伍翀（云邪），Apache Flink Committer，阿里巴巴高级开发工程师。本文将从开发环境准备、创建 Maven 项目，编写 Flink 程序、运行程序等方面讲述如何迅速搭建第一个 Flink 应用。在本文中，我们将从零开始，教您如何构建第一个 Flink 应用程序。开发环境准备Flink 可以运行在 Linux, Max OS X,...

2019-05-22 16:23:26 614

原创社区资讯 | Apache Flink 中文社区网站 Ververica 正式发布

众所周知，Apache Flink 最初是由德国柏林工业大学的几个博士生和研究生从学校开始做起来的项目，2014年，其核心成员开发了 Flink，同时将 Flink 计算的主流方向定位为实时计算并在同年将 Flink 捐赠给 Apache ，后来快速孵化，成为 Apache 的顶级项目。Apache Flink 是业界公认的性能优异的大数据实时计算引擎之一，除了社区的参与贡献外，还与其商业公...

2019-05-17 18:16:17 19050

原创 OPPO数据中台之基石：基于Flink SQL构建实数据仓库

本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议，分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contributor。本文主要内容如下：OPPO 实时数仓的演进思路；基于 Flink SQL 的扩展工作；构建实时数仓的应用案例；未来工作的思考和展望。一.OPPO 实时数仓的演进思路1.1.OPPO 业...

2019-05-14 20:56:22 864

原创 Deploy Apache Flink Natively on YARN/Kubernetes

作者：任春德Apache Flink作为下一代大数据计算引擎，在迅速发展强大中，其内部架构也在不断优化重构，以适应更多运行时环境和更大计算规模，Flink Improvement Proposals-6重新设计了在各集群管理系统(Standalone/YARN/Kubernetes等)上资源调度的统一架构，本文将介绍资源调度的架构发展及其清晰分层等设计特点，YARN上per-Job和sessio...

2019-05-06 10:57:58 320 1

原创 Apache Flink Time & Window 深度解析

作者：邱从贤1、 Window & Time 介绍Apache Flink（以下简称 Flink）是一个天然支持无限流数据处理的分布式计算框架，在 Flink 中 Window 可以将无限流切分成有限流，是处理有限流的核心组件，现在 Flink 中 Window 可以是时间驱动的（Time Window），也可以是数据驱动的（Count Window）。下面的代码是在 Flink ...

2019-05-06 10:37:25 248

原创 Apache Flink®生态所面临的机遇与挑战

作者：简锋引言在谈生态之前，我们来聊聊什么是生态。生态是指在某个特定领域，以某个组件为核心衍生出来其他多个组件，这些组件可以间接或者直接用到这个核心组件，然后辅助这个核心组件共同完成一个更大或者更特殊的任务。Flink生态圈就是指以Flink为核心的生态圈，Flink属于大数据生态里的计算环节，只做计算，不做存储。但是在实际工作当中，你会发现往往单独用Flink是不够的。比如你的数据是从哪里读...

2019-05-05 14:34:32 250

原创阿里巴巴为什么选择Apache Flink？

作者：王峰整理：韩非本文主要整理自云栖大会阿里巴巴计算平台事业部资深技术专家王峰（花名：莫问）在云栖大会‘开发者生态峰会’上发表的演讲。伴随着海量增长的数据，数字化时代的未来感扑面而至。不论是结绳记事的小数据时代，还是我们正在经历的大数据时代，计算的边界正在被无限拓宽，而数据的价值，再也难以被计算。时下，谈及大数据，不得不提到最热门的下一代大数据计算引擎Apache Flink（以下简称F...

2019-05-05 11:42:35 567

Ververica的博客