1、文件准备
在项目的resource目录下创建一个words文件
文件内容:
hello word
hello scala
hello flink
hello spark
2、数据处理
文件准备后,开始读取文件,将处理后数据输出到目标文件中
代码:
object Wordcount {
def main(args: Array[String]): Unit = {
//创建环境变量
val env = StreamExecutionEnvironment.getExecutionEnvironment
//设置并行为1
env.setParallelism(1)
//文件路径
val filePath="D:\\BBQ\\bigdata-dm\\flinkemo\\src\\main\\scala\\resource\\words.txt"
//读取文件
val inputDS=env.readTextFile(filePath)
//分词统计
import org.apache.flink.api.scala._
val wordcountDS =inputDS.flatMap(_.split(" ")).map((_, 1)).keyBy(0).sum(1)
wordcountDS.print()
wordcountDS.writeAsText("D:\\BBQ\\bigdata-dm\\