我的大数据之旅-Flink 批处理文本文件 word count

目录

 

前言：

需求：

通过Flink统计一个文本文件里单词个数

实现：

新建Flink项目

创建批处理类

结果

---

前言：

对比Spark、Flink开发流程，发现Flink的开发流程比较简单明了。

主要分几个步骤：

1. env ：设置运行环境
2. source：配置数据源
3. transform：各种转换操作（flatMap/filter/join/group等）
4. sink:下沉到各种输出(text file /kafka等)

需求：

通过Flink统计一个文本文件里单词个数

 

实现：

新建Flink项目

如果没有flink-quickstart-scala的话，通过右上角的新建添加一下即可