beam整合flink

beam整合flink

Apache Beam概述

Apache Beam是一种开源的统一模型，用于定义批处理和流数据并行处理流水线。使用一个开源的Beam SDK，您可以构建一个定义管道的程序。然后，管道由Beam支持的分布式处理后端执行，其中包括Apache Apex，Apache Flink，Apache Spark和Google Cloud Dataflow。
beamSDK提供统一的编程模型，可以表示和转换任何大小的数据集，无论输入是来自批量数据源的有限数据集，还是来自流式数据源的无限数据集。

开发环境

-下载安装 JDK 7 或更新的版本，检测 JAVA_HOME环境变量
-下载 Maven 打包环境。

maven下载Wordcount示例代码

$ mvn archetype:generate \
-DarchetypeGroupId=org.apache.beam \
-DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
-DarchetypeVersion=2.1.0 \
-DgroupId=org.example \
-DartifactId=word-count-beam \
-Dversion=”0.1” \
-Dpackage=org.apache.beam.examples \
-DinteractiveMode=false

这将创建一个目录word-count-beam，其中包含一个简单pom.xml的一系列示例管道，用于计算文本文件中的单词。

查看下载好的示例代码

$ cd word-count-beam/

$ ls
pom.xml src

$ ls src/main/java/org/apache/beam/examples/
DebuggingWordCount.java WindowedWordCount.java common
MinimalWordCount.java WordCount.java

Flink Runner先决条件和设置

如果要使用Flink runner的本地执行模式不必完成任何设置。
要了解您需要哪个版本的Flink，您可以运行此命令来检查项目使用的Flink依赖关系的版本：

$ mvn dependency:tree -Pflink-runner |grep flink
…
[INFO] | +- org.apache.flink:flink-streaming-java_2.10:jar:1.2.1:runtime
…

指定flink-runner依赖

 <profile>
  <id>flink-runner</id>
  <!-- Makes the FlinkRunner available when running a pipeline. -->
  <dependencies>
    <dependency>
      <groupId>org.apache.beam</groupId>
      <artifactId>beam-runners-flink_2.10</artifactId>
      <version>${beam.version}</version>
      <scope>runtime</scope>
    </dependency>
  </dependencies>
</profile>

在Flink集群上执行管道

mvnpackage−Pflink−r