package com.atguigu.day1
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time
/**
* @author :ZCB
* @date :Created in 2021/8/10 23:01
* @desc:
*/
object WordCountFromSocket {
case class WordWithCount(value: String, i: Int)
def main(args: Array[String]): Unit = {
//获取运行时环境,类似于SparkContext
val env = StreamExecutionEnvironment.getExecutionEnvironment
//设置分区(又叫并行任务)的数量为1
env.setParallelism(1)
//建立数据源
val stream = env.socketTextStream("localhost", 9999, '\n')
//写对流的转换处理逻辑
val transformed = stream
//使用空格切分输入的字符串
.flatMap(line => line.split("\\s"))
//类似MR中的map
.map(w => WordWithCount(w, 1))
//使用word字段进行分区,shuffle
.keyBy(0)
//开了一个5s的滚动窗口
.timeWindow(Time.seconds(5))
//针对count字段进行累加操作
.sum(1)
//将计算的结果输出到标准输出
transformed.print()
//执行计算逻辑
env.execute()
}
}
第一个FLINK程序之WordCount
最新推荐文章于 2024-08-29 22:33:29 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)