2019年06月_Apache Flink

原创用Flink取代Spark Streaming！知乎实时数仓架构演进

作者 | 知乎数据工程团队“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知...

2019-06-27 11:28:44 411

原创社区活动 | Apache RocketMQ × Apache Flink Meetup · 上海站

7 月 6 日，Apache Flink Meetup 再度回归魔都，来自阿里巴巴、网易的 Flink 技术专家联合 Apache RocketMQ 社区大咖来一场 Flink 与 RocketMQ 的邂逅，看看 Apache RocketMQ × Apache Flink 会碰撞出怎样的火花。▼ 本期福利 ▼Apache RocketMQ × Apache Flink Meetup · 上海...

2019-06-25 16:47:12 458

原创原理解析 | 深入了解 Apache Flink 的网络协议栈

作者：Nico Kruber翻译：曹英杰Flink 的网络协议栈是组成 flink-runtime 模块的核心组件之一，是每个 Flink 作业的核心。它连接所有 TaskManager 的各个子任务(Subtask)，因此，对于 Flink 作业的性能包括吞吐与延迟都至关重要。与 TaskManager 和 JobManager 之间通过基于 Akka 的 RPC 通信的控制通道不同，Tas...

2019-06-25 15:28:33 321

原创 Flink 零基础实战教程：如何计算实时热门商品

在上一篇入门教程中，我们已经能够快速构建一个基础的 Flink 程序了。本文会一步步地带领你实现一个更复杂的 Flink 应用程序：实时热门商品。在开始本文前我们建议你先实践一遍上篇文章，因为本文会沿用上文的my-flink-project项目框架。通过本文你将学到：如何基于 EventTime 处理，如何指定 Watermark如何使用 Flink 灵活的 Window API何时需要...

2019-06-20 14:59:55 292

原创美团点评基于 Flink 的实时数仓建设实践

作者：美团点评技术团队引言近些年，企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink 和 Storm 两个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际...

2019-06-20 14:20:03 786

原创谈谈流计算中的『Exactly Once』特性

作者：宝牛本文翻译自 streaml.io 网站上的一篇博文：“Exactly once is NOT exactly the same” ，分析了流计算系统中常说的『Exactly Once』特性，主要观点是：『精确一次』并不保证是完全一样。主要内容如下：背景1.1. 最多一次（At-most-once）1.2. 至少一次（At-least-once）1.3. 精确一次...

2019-06-20 14:04:38 382

原创 Apache Flink 1.9 版本即将发布，新版本有哪些新特性

6 月 29 号，Apache Flink 社区 Meetup 北京站即将到来，此次 Meetup 一如既往地邀请了社区多位 Flink 技术专家现场分享。伴随着 Apache Flink 1.9 版本发布日期临近，大家对 Apache Flink 1.9 版本有哪些新特性都十分好奇，本次 Meetup 特邀 Apache Flink PMC 与阿里巴巴、快手、Airbnb 的技术专家为你解读新特...

2019-06-19 18:02:56 9666

原创如何从小白进化成 Apache Flink 技术专家？9节基础课程免费公开！

随着数据量的爆发，AI走上风口，典型的大数据业务场景下数据业务最通用的做法是：选用批计算的技术处理全量数据，采用流计算的技术处理实时增量数据。在生产环境中，用户通常采用批处理和流处理两套计算引擎来支持这两种场景。弊端就是需要写两套代码，维护两套引擎，毫无疑问，这种架构带来了额外的负担与成本。面对全量数据和增量数据，能否用一套统一的大数据引擎技术来处理？Apache Flink 被业界公认为最...

2019-06-14 14:54:20 269

原创 360深度实践：Flink 与 Storm 协议级对比

作者：张馨予本文从数据传输和数据可靠性的角度出发，对比测试了 Storm 与 Flink 在流处理上的性能，并对测试结果进行分析，给出在使用 Flink 时提高性能的建议。Apache Storm、Apache Spark 和 Apache Flink 都是开源社区中非常活跃的分布式计算平台，在很多公司可能同时使用着其中两种甚至三种。对于实时计算来说，Storm 与 Flink 的底层计算引...

2019-06-13 13:48:52 168

Ververica的博客