Flink 的安装与基础编程

实验背景

Flink是一种具有代表性的开源流处理架构,具有十分强大的功能,它实现了
Google Datatlow 流计算模型,是一种兼具高吞吐、低延迟和高性能的实时
流计算框架,并旦同时支 持批处理和流处理。Flink
的主要特性包括批流一体化、精密的状态管理、事件时间支持以
及精确一次的状态一致性保障等。

Flink 不仅可以运行在包括YARN、 Mesos、Kubernetes
等在内的多种资源管理框架上,还支持在裸机集群上独立部署。

实验目的

掌握Flink的安装以及基本编程方法。

实验环境

VirtualBox 6.1.14, Ubuntu 16.04,java8

实验任务及完成过程

安装Flink,并以WordCount程序为实例介绍Fink编程方法

本地模式下安装Flink

检查配置环境

为了运行Flink,需提前安装好 Java 8 或者 Java 11。 可以通过以下命令来检查
Java 是否已经安装正确,如果没有的话,需要先安装 JDK。:
(1)检查java版本

java -version

在这里插入图片描述

(2)在官方下载地址下载对应版本:

官网(https://flink.apache.org/downloads.html)
下载flink.1binscala_2.11.tgz

在这里插入图片描述

(3)下载完成后通过WinSCP将电脑本地本地导入到虚拟机的下载目录下。

在这里插入图片描述

(4)在虚拟机的命令行使用如下命令对安装文件进行解压缩:

cd 下载
sudo tar -zxvf flink-1.9.1-bin-scala_2.11.tgz -C /usr/local
\begin{lstlisting}[language={[ANSI]C}]

配置Flink

(5)修改目录名,并设置权限:

cd /usr/local
sudo mv flink-1.9.1 flink
sudo chown -R hadoop:hadoop flink

(6)由于我们此次环境为本地模式,Flink是可以开箱直接用的,如果要修改java
运行环境,可以修改/usr/local/flink/conf/flink-conf.yaml文件中的env.java.home参数
,设置为本地java的绝对路径。

使用如下命令添加环境变量:

vim ~/.bashrc

(7)在.bashrc文件中添加如下内容:

export FLNK_HOME=/usr/local/flink
export PATH=$FLINK_HOME/bin:$PATH

(8)保存并退出.bashrc文件,然后执行如下命令让配置文件生效:

source ~/.bashrc

启动与判断运行情况

(9)使用如下命令启动Flink:

cd /usr/local/flink
./bin/start-cluster.sh

(10)使用jps命令查看进程:

jps
6146 Jps
5673 StandaloneSessionClusterEntrypoint
6107 TaskManagerRunner

如果能看到TaskManagerRunner和StandaloneSessionClusterEntrypoint
这两个进程,就说明启动成功。

在这里插入图片描述

或者我们可以通过Web前段来判断是否启动成功,可以在浏览器
中输入http://localhost:8081网址来访问。

在这里插入图片描述

Flink实例运行(单机)

Flink安装包自带了测试样例,这里可以运行WordCount样例程序
测试Flink的运行效果,具体命令如下:

cd /usr/local/flink/bin
./flink run /usr/local/flink/examples/ba
  • 3
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值