【大数据处理技术】实验10

【林子雨老师教程】

安装Flink

下载：https://flink.apache.org/downloads.html


解压缩，修改环境变量
[ 还需要赋予flink用户权限，sudo chmod 777 -R ./flink ]


启动Flink，测试样例

实现WordCount程序（了解）

1. 安装Maven
下载：https://dlcdn.apache.org/maven/maven-3/3.3.9/binaries/

解压，赋予maven用户权限


2. 编写代码
使用vim编辑器在“./flinkapp/src/main/java”目录下建立三个代码文件，即WordCountData.java、WordCountTokenizer.java和WordCount.java。
WordCountData.java：

WordCountTokenizer.java:

WordCount.java:

在flink/目录下新建pom.xml文件：

3. 使用Maven 打包Java程序
检查整个应用程序的文件结构：

将整个应用程序打包成JAR包（注意：计算机需要保持连接网络的状态，而且首次运行打包命令时，Maven会自动下载依赖包，需要消耗几分钟的时间）

4. 通过flink run 命令运行程序
启动Flink，将生成的JAR包通过flink run命令提交到Flink中运行

使用IntelliJ IDEA 开发调试 WordCount程序

1. 官网下载安装IDEA（推荐使用JetBrains Tools工具下载）
（略）
2. 启动IDEA，新建项目

3. 修改pom.xml，编写代码文件，编译运行

这里使用输入路径提供的file10.txt文件，进行WordCount：
先创建/usr/local/hadoop/file10.txt文件（略）
将原先代码中的输入路径改为file10.txt文本的路径
运行WordCount.java代码文件，“Run WordCount.main()”