Ying

个人博客:http://smartsi.club/

[Flink]Flink1.3 Batch指南二 集群运行

Flink程序可以分布在许多机器的群集上。有两种方式可以将程序发送到集群上运行: (1) 命令行接口 (2) 远程环境

1. 命令行接口

命令行接口允许你将打包程序(JAR)提交到集群(或单机配置)。

详细请参阅[Flink]Flink1.3 指南四 命令行接口

2. 远程环境

远程环境允许你直接在集群上运行Flink Java程序。远程环境指的是你要在上面运行程序的集群。

2.1 Maven依赖

使用下面依赖关系添加flink-clients模块:

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-clients_2.10</artifactId>
  <version>1.3.2</version>
</dependency>

2.2 Example

下面说明了如何使用RemoteEnvironment:

public static void main(String[] args) throws Exception {
    ExecutionEnvironment env = ExecutionEnvironment.createRemoteEnvironment("flink-master", 6123, "/home/user/udfs.jar");

    DataSet<String> data = env.readTextFile("hdfs://path/to/file");

    data.filter(new FilterFunction<String>() {
            public boolean filter(String value) {
                return value.startsWith("http://");
            }
        })
        .writeAsText("hdfs://path/to/result");

    env.execute();
}

备注:

该程序包含了用户自定义代码,因此需要一个包含代码类的JAR文件。远程环境的构造函数需要指定路径来指向JAR文件。

备注:

Flink版本:1.3

原文:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/cluster_execution.html

阅读更多
个人分类: Flink
上一篇[Flink]Flink1.3 Stream指南三 窗口分配器
下一篇[Flink]Flink1.3 Stream指南四 窗口函数
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭