Flink
文章平均质量分 90
Norman.Dai
如果说走过的路是一种人生的历练,那么流过的汗就当锻炼身体啦
展开
-
Apache Flink(一) 简介
无限数据( Unbounded Datasets)的流式处理在我们详细了解Flink之前,让我们从更高层次审视处理数据时可能遇到的数据集的类型以及我们可以选择处理的执行模型类型。这两个想法经常是混合的,我们需要很清楚地分开它们。 两种数据集无限(Unbounded):连续附加的无限数据集 有限的(Bounded):有限的,不变的数据集 传统意义上认为的无界数据集譬如“批处理”数据事实上是有界原创 2017-05-11 18:45:45 · 7910 阅读 · 0 评论 -
Apache Flink 数据流编程模型
抽象级别 Flink提供不同层次的抽象来开发流/批处理应用程序。最低层次的抽象只提供有状态的流。它通过流程函数嵌入到DataStream API中。它允许用户自由地处理来自一个或多个流的事件,并使用一致的容错状态。此外,用户可以注册事件时间和处理时间回调,允许程序实现复杂的计算。在实践中,大多数应用程序不需要上面描述的低级抽象,而是针对像DataStream API(有界/无界流)和原创 2017-05-24 21:35:13 · 1456 阅读 · 0 评论 -
Apache Flink 快速实践(Quickstart)
QuickstartSetup: Download and Start Flink在Linux, Mac OS X或者 Windows上运行Flink 只需要 JAVA 7或者以上的版本,对于Windows用户来讲请参考Flink on Windows、你可以使用下面的命令来查看当前安装的JAVA版本java -version如果你安装的是java8的版本,你看到的结果应该类似下面这样:java v翻译 2017-05-27 10:44:07 · 2179 阅读 · 0 评论 -
新一代大数据处理引擎 Apache Flink
大数据计算引擎的发展 本博客转载自:https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/ 谢谢原作者这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计转载 2017-06-07 12:01:21 · 458 阅读 · 0 评论 -
Apache Flink应用开发之API基本概念(更新中。。。)
API的基本概念Flink 程序是一种能够对分布式集合进行转换(transformation)的常规程序,比如:过滤、映射、更新状态、联合、分组、定义窗口、聚合等。集合(Collections )最初是通过源(sources )来创建(例如:从文件中读取、KAFKA 主题、或者来源于本地,以及从内存中收集)。处理结果是通过槽(sinks)返回的,它可以写入文件(包括分布式文件系统,如HBase),或翻译 2017-06-01 16:18:52 · 543 阅读 · 0 评论