1.Flink安装准备
-
Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目,代码开源在 GitHub 上,并使用 Maven 来编译和构建项目。对于大部分使用 Flink 的同学来说,Java、Maven 和 Git 这三个工具是必不可少的,另外一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 Bug。因为篇幅所限,我们不会详述每个工具的安装细节,但会给出必要的安装建议。
-
关于开发测试环境,Mac OS、Linux 系统或者 Windows 都可以。如果使用的是 Windows 10 系统,建议使用 Windows 10 系统的 Linux 子系统来编译和运行。
-
工具 注释 Java Java8以上 Maven 必须使用Maven3以上版本 Git Flink 的代码仓库是: https://github.com/apache/flink
2.Flink代码编译,安装
-
可以在Git上下载源码以后直接用IDE编译,编译生成的三个文件需要留意
版本 注释 flink-1.10.0.tar.gz Binary的压缩包 flink-1.10.0-bin/flink-1.10.0 解压后的 Flink binary 目录 flink-dist_2.11-1.10.0.jar 包含 Flink 核心功能的 jar 包 -
目前公司环境是从官网下载的binary包安装完成
3.Flink运行
1.单机standalone运行
1.基本启动流程
2.常用配置需求
conf / slaves
conf / slaves 用于配置 TaskManager 的部署,默认配置下只会启动一个 TaskManager 进程,如果想增加一个 TaskManager 进程的,只需要文件中追加一行“localhost”。
也可以直接通过“ ./bin/taskmanager.sh start ”这个命令来追加一个新的 TaskManager:
conf/flink-conf.yaml
conf/flink-conf.yaml 用于配置 JM 和 TM 的运行参数
3.日志查看需求
JobManager 和 TaskManager 的启动日志可以在 Flink binary 目录下的 Log 子目录中找到。Log 目录中以“flink-{id}-${hostname}”为前缀的文件对应的是 JobManager 的输出,其中有三个文件:
- flink- u s e r − s t a n d a l o n e s e s s i o n − {user}-standalonesession- user−standalonesession−{id}-${hostname}.log:代码中的日志输出
- flink- u s e r − s t