flink项目开发-scala代码模板开发flink指南

最新推荐文章于 2024-08-05 11:29:42 发布

大数据徐葳

最新推荐文章于 2024-08-05 11:29:42 发布

阅读量2.8k

点赞数

分类专栏： flink 文章标签： flink代码开发 flink scala代码开发 flink开发示例 flink开发实战

本文链接：https://blog.csdn.net/xu470438000/article/details/79508672

版权

flink 专栏收录该内容

23 篇文章 9 订阅

订阅专栏

scala代码开发flink指南

构建工具
sbt【建议参考使用下面的maven，sbt模块暂时不做翻译】
maven

必须的依赖
创建项目
检查项目
构建/编译项目

下一步

构建工具

Flink项目可以使用不同的工具进行管理和编译。

sbt和maven

建议使用maven,因为目前大数据开发，工作中使用maven的比较多。

================maven=================

必须的依赖

1：maven3.0.4(或者更高)

2：java8.x

创建项目

使用下面的命令创建项目

使用maven命令

$ mvn archetype:generate                               \
      -DarchetypeGroupId=org.apache.flink              \
      -DarchetypeArtifactId=flink-quickstart-scala      \
      -DarchetypeVersion=1.4.1

或者使用quickstart脚本

curl https://flink.apache.org/q/quickstart-scala.sh | bash

其实也可以手工在idea或者eclipse中创建一个普通maven项目即可【只是创建项目中是空的，不包含flink测试代码，后期熟悉了以后可以自己手工创建项目即可，前期不熟悉的话还是参考官网步骤】。

检查项目

在你的工作目录中将会有一个新目录，如果你使用的是 curl 这种方式创建的项目，这个目录的名称就是 quickstart。否则，目录名称就是你指定的maven项目的 artifactId。

$ tree quickstart/
quickstart/
├── pom.xml
└── src
    └── main
        ├── resources
        │   └── log4j.properties
        └── scala
            └── org
                └── myorg
                    └── quickstart
                        ├── BatchJob.scala
                        └── StreamingJob.scala

这个实例项目是maven项目，它包含两个class，StreamingJob 和 BatchJob是DataStream和DataSet程序的两个基本实现。main方法是程序的入口，既可以进行测试也可以正式执行。

我们推荐你把这个项目导入到你的IDE中进行开发和测试。

IntelliJ IDEA 原生支持maven和scala开发。根据我们的经验，IntelliJ 提供了最好的flink开发环境体验。

如果使用eclipse，你需要安装下面插件，你可以根据eclipse提供的更新站点安装。

Eclipse 4.x

Eclipse 3.8

Scala IDE for Scala 2.11 or Scala IDE for Scala 2.10
m2eclipse-scala
Build Helper Maven Plugin

构建/编译项目

如果你想对你的项目编译打包，进入你的项目根目录，执行 maven clean package 命令。【前提是你需要在你本机安装maven，并且配置M2_HOME环境变量】。然后你将会在项目根目录的target目录下面看到打包好的jar包：target/<artifact-id>-<version>.jar

注意：如果你使用不同的class而不是使用streamingJob作为入口类，我们建议你在pom.xml文件中修改mainClass配置的类型。这样，flink程序在运行的时候就可以不用特意指定入口类了。