Flink 的安装与基础编程
实验背景
Flink是一种具有代表性的开源流处理架构,具有十分强大的功能,它实现了
Google Datatlow 流计算模型,是一种兼具高吞吐、低延迟和高性能的实时
流计算框架,并旦同时支 持批处理和流处理。Flink
的主要特性包括批流一体化、精密的状态管理、事件时间支持以
及精确一次的状态一致性保障等。
Flink 不仅可以运行在包括YARN、 Mesos、Kubernetes
等在内的多种资源管理框架上,还支持在裸机集群上独立部署。
实验目的
掌握Flink的安装以及基本编程方法。
实验环境
VirtualBox 6.1.14, Ubuntu 16.04,java8
实验任务及完成过程
安装Flink,并以WordCount程序为实例介绍Fink编程方法
本地模式下安装Flink
检查配置环境
为了运行Flink,需提前安装好 Java 8 或者 Java 11。 可以通过以下命令来检查
Java 是否已经安装正确,如果没有的话,需要先安装 JDK。:
(1)检查java版本
java -version
(2)在官方下载地址下载对应版本:
官网(https://flink.apache.org/downloads.html)
下载flink.1binscala_2.11.tgz
(3)下载完成后通过WinSCP将电脑本地本地导入到虚拟机的下载目录下。
(4)在虚拟机的命令行使用如下命令对安装文件进行解压缩:
cd 下载
sudo tar -zxvf flink-1.9.1-bin-scala_2.11.tgz -C /usr/local
\begin{lstlisting}[language={[ANSI]C}]
配置Flink
(5)修改目录名,并设置权限:
cd /usr/local
sudo mv flink-1.9.1 flink
sudo chown -R hadoop:hadoop flink
(6)由于我们此次环境为本地模式,Flink是可以开箱直接用的,如果要修改java
运行环境,可以修改/usr/local/flink/conf/flink-conf.yaml文件中的env.java.home参数
,设置为本地java的绝对路径。
使用如下命令添加环境变量:
vim ~/.bashrc
(7)在.bashrc文件中添加如下内容:
export FLNK_HOME=/usr/local/flink
export PATH=$FLINK_HOME/bin:$PATH
(8)保存并退出.bashrc文件,然后执行如下命令让配置文件生效:
source ~/.bashrc
启动与判断运行情况
(9)使用如下命令启动Flink:
cd /usr/local/flink
./bin/start-cluster.sh
(10)使用jps命令查看进程:
jps
6146 Jps
5673 StandaloneSessionClusterEntrypoint
6107 TaskManagerRunner
如果能看到TaskManagerRunner和StandaloneSessionClusterEntrypoint
这两个进程,就说明启动成功。
或者我们可以通过Web前段来判断是否启动成功,可以在浏览器
中输入http://localhost:8081网址来访问。
Flink实例运行(单机)
Flink安装包自带了测试样例,这里可以运行WordCount样例程序
测试Flink的运行效果,具体命令如下:
cd /usr/local/flink/bin
./flink run /usr/local/flink/examples/ba