flink项目开发-flink的scala shell命令行交互模式开发

flink的 scala shell命令行交互模式开发

版本

Flink：1.6.2

flink带有一个集成的scala shell命令行。它可以以本地方式启动来模拟集群集群。执行下面的命令就可以通过shell命令行和flink集群交互(这种方式方便于代码调试)：

bin/start-scala-shell.sh local

如果想在集群上面运行scala shell，请查看本节后面的内容。

flink scala shell 用法
shell方式支持流处理和批处理。当启动shell命令行之后，两个不同的ExecutionEnvironments会被自动创建。使用benv和senv分别去处理批处理和流处理程序。(类似于spark-shell中sc变量)

DataSet API
下面的例子将会在scala shell中执行wordcount程序

输入benv按制表按键可以查看benv有哪些方法

Scala> val text = benv.fromElements(
  "To be, or not to be,--that is the question:--",
  "Whether 'tis nobler in the mind to suffer",
  "The slings and arrows of outrageous fortune",
  "Or to take arms against a sea of troubles,")
Scala> val counts = text
    .flatMap { _.toLowerCase.split("\\W+") }
    .map { (_, 1) }.groupBy(0).sum(1)
Scala-Flink> counts.print()

print()命令会自定发送指定的任务到jobmanager去执行，并且会将结果显示在控制台。

也可以吧结果写到一个文件中，然而，在这种情况下，你需要执行execute方法，去执行你的程序

Scala> benv.execute("MyProgram")

DataStream API

类似于上面的批处理程序，我们可以通过DataStream API执行一个流处理