Flink本地环境搭建详解（附实例）

• 目的

1. 熟悉分布式大数据流式处理的概念和常用技术；
2. 了解开源分布式流处理框架Flink的相关知识；
3. 掌握 Linux 下的 Flink 安装步骤、配置方法和运行管理。

• 内容

1. Linux 环境配置；
2. Flink 依赖包的安装、配置和运行；
3. Flink 的安装、配置、运行和管理；
4. WordCount 实例的使用。

• 准备 

1. Java8；https://www.java.com/zh_CN/download/mac_download.jsp 
2. flink-1.7.2-bin-hadoop28-scala_2.12.tar。Index of /apache/flink

• 步骤

   1> 安装 JAVA，不做详细阐述；

   2> 将 Flink-1.7.2.tar 解压到 /Documents/Flink/ 文件夹中；

tar -zxf flink-1.7.2-bin-hadoop28-scala_2.12.tar

   3> 配置 FLINK_HOME 环境变量，执行生效；

sudo vim /etc/profile

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_221.jdk/Contents/Home"
CLASS_PATH="$JAVA_HOME/lib"
export FLINK_HOME="$HOME/Documents/Flink/flink-1.7.2"
PATH=".$PATH:$JAVA_HOME/bin:$FLINK_HOME/bin"

. /etc/profile

   4> 启动 Flink；

start-cluster.sh 

   5> 执行 Jps 查看启动情况；

21959 Jps
20744 StandaloneSessionClusterEntrypoint
21162 TaskManagerRunner

   6> 访问 http://localhost:8081；

  7> 准备运行 WordCount,在 /Documents/Flink/ 目录下新建文件 WordCountInput，存放输入单词；

Hello Flink
LOVE

 8> 运行 WordCount,统计单词数，查看运行结果；

flink run $FLINK_HOME/examples/streaming/WordCount.jar --input $HOME/Documents/Flink/WordCountInput

Starting execution of program
Printing result to stdout. Use --output to specify output path.
Program execution finished
Job with JobID 092e5f083421aa0ce445fc8910db0699 has finished.
Job Runtime: 127 ms

  9> 查看 $FLINK_HOME/log 下输出文件；

tail $FLINK_HOME/log/flink-leeway-taskexecutor-3-LeewaydeMacBook-Pro.local.out

(hello,1)
(flink,1)
(love,1)

10>查看 Completed Jobs。