beam整合flink
Apache Beam概述
Apache Beam是一种开源的统一模型,用于定义批处理和流数据并行处理流水线。使用一个开源的Beam SDK,您可以构建一个定义管道的程序。然后,管道由Beam支持的分布式处理后端执行,其中包括Apache Apex,Apache Flink,Apache Spark和Google Cloud Dataflow。
beamSDK提供统一的编程模型,可以表示和转换任何大小的数据集,无论输入是来自批量数据源的有限数据集,还是来自流式数据源的无限数据集。
开发环境
-下载安装 JDK 7 或更新的版本,检测 JAVA_HOME环境变量
-下载 Maven 打包环境。
maven下载Wordcount示例代码
$ mvn archetype:generate \
-DarchetypeGroupId=org.apache.beam \
-DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
-DarchetypeVersion=2.1.0 \
-DgroupId=org.example \
-DartifactId=word-count-beam \
-Dversion=”0.1” \
-Dpackage=org.apache.beam.examples \
-DinteractiveMode=false
这将创建一个目录word-count-beam,其中包含一个简单pom.xml的一系列示例管道,用于计算文本文件中的单词。
查看下载好的示例代码
$ cd word-count-beam/
$ ls
pom.xml src$ ls src/main/java/org/apache/beam/examples/
DebuggingWordCount.java WindowedWordCount.java common
MinimalWordCount.java WordCount.java
Flink Runner先决条件和设置
如果要使用Flink runner的本地执行模式不必完成任何设置。
要了解您需要哪个版本的Flink,您可以运行此命令来检查项目使用的Flink依赖关系的版本:
$ mvn dependency:tree -Pflink-runner |grep flink
…
[INFO] | +- org.apache.flink:flink-streaming-java_2.10:jar:1.2.1:runtime
…
指定flink-runner依赖
<profile>
<id>flink-runner</id>
<!-- Makes the FlinkRunner available when running a pipeline. -->
<dependencies>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-runners-flink_2.10</artifactId>
<version>${beam.version}</version>
<scope>runtime</scope>
</dependency>
</dependencies>
</profile>
在Flink集群上执行管道
mvnpackage−Pflink−r