Hello Flink
- scala项目的创建可以直接使用Flink中的样板案例。创建方法为在新建项目时勾选
Create from archetype
。 group为:org.apache.flink,id为flink-quickstart-scala.版本为1.10.0,由此省略了pom文件的烦恼。 - 在idea中直接运行时需要在run-configuration 中勾选include dependency。。。
- scala的wordCount和spark的十分类似.
object StreamingJob {
def main(args: Array[String]) {
// set up the streaming execution environment
val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
val text: DataStream[String] = env.socketTextStream("hadoop101", 9999, '\n')
val wordCount: DataStream[WordCount] = text.flatMap(t => t.split("\\s"))
.map(word => WordCount(word, 1))
.keyBy("word")
.timeWindow(Time.seconds(5))
.sum("count")
wordCount.print().setParallelism(1)
env.execute("Flink Streaming Scala API Skeleton")
}
case class WordCount(word:String,count:Long)
}
在wordCount程序中可以发现一个flink程序的步骤为,创建运行环境,读数据,对数据操作,写出数据,执行五个步骤.
- 创建运行环境 使用
静态getExecutionEnvironment()方法来获取执行环境
,在idea中就是本地,如果上传到linux就是集群模式 - env.socketTextStream("hadoop101", 9999, '\n')获取一个source,可以有多个source
- 转换算子
- 输出结果,类似于spark中的行动算子
- env.execute执行.前面只是一个执行计划,调用这个函数才能真正执行.类似于sparkStreaming中的start方法.不过flink不要termination