3.Hello flink

Hello Flink

1. scala项目的创建可以直接使用Flink中的样板案例。创建方法为在新建项目时勾选Create from archetype。 group为：org.apache.flink,id为flink-quickstart-scala.版本为1.10.0,由此省略了pom文件的烦恼。
2. 在idea中直接运行时需要在run-configuration 中勾选include dependency。。。
3. scala的wordCount和spark的十分类似.

object StreamingJob {
  def main(args: Array[String]) {
    // set up the streaming execution environment
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val text: DataStream[String] = env.socketTextStream("hadoop101", 9999, '\n')
    val wordCount: DataStream[WordCount] = text.flatMap(t => t.split("\\s"))
        .map(word => WordCount(word, 1))
        .keyBy("word")
        .timeWindow(Time.seconds(5))
        .sum("count")
    wordCount.print().setParallelism(1)

    env.execute("Flink Streaming Scala API Skeleton")
  }
  case class WordCount(word:String,count:Long)
}

在wordCount程序中可以发现一个flink程序的步骤为,创建运行环境,读数据,对数据操作,写出数据,执行五个步骤.

1. 创建运行环境 使用静态getExecutionEnvironment()方法来获取执行环境,在idea中就是本地,如果上传到linux就是集群模式
2. env.socketTextStream("hadoop101", 9999, '\n')获取一个source,可以有多个source
3. 转换算子
4. 输出结果,类似于spark中的行动算子
5. env.execute执行.前面只是一个执行计划,调用这个函数才能真正执行.类似于sparkStreaming中的start方法.不过flink不要termination