Flink 搭建 - 本地模式

最新推荐文章于 2024-07-24 11:58:44 发布

半吊子Kyle

最新推荐文章于 2024-07-24 11:58:44 发布

阅读量1.5k

点赞数 1

分类专栏： Flink 文章标签： flink scala big data

本文链接：https://blog.csdn.net/hell_oword/article/details/120107242

版权

6 篇文章 1 订阅

订阅专栏

本地模式适用于本地开发和测试环境，占用的资源较少，部署简单

① 本地模式（Local Mode）

JobManager 和 TaskManager 运行在一个 JVM 进程中

② 本地集群模式（Local Cluster Mode）

JobManager 和 TaskManager 分别运行在一个 JVM 进程中

① 环境准备

Linux 服务器

② 下载安装包

注意：本博客基于 Flink 1.10 版本安装

# 版本说明
# 1.10.0 是 flink 的版本，2.11 是 scala 的版本 
flink-1.10.0-bin-scala_2.11.tgz

① 上传解压

cd /opt/server
chmod u+x flink-1.10.0-bin-scala_2.11.tgz 
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz

② 软连接

cd /opt/server
chown -R root:root flink-1.10.0
ln -s /opt/server/flink-1.10.0 /opt/server/flink

① 启动本地 flink

cd /opt/server/flink
bin/start-scala-shell.sh local

在这里插入图片描述
② 测试批处理（本地文件读取）

# 创建测试文件
vim /opt/server/words.txt

# 增加以下内容
aaa bbb ccc ddd
lucy jack lucy
Beijing Wuhan
jack

// 读取本地文件
benv.readTextFile("/opt/server/words.txt").flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1).print()

在这里插入图片描述
③ 测试流处理

注意：工具执行和流读取是在两个窗口执行

# 安装消息发送工具
yum install -y nc

# 启动工具，端口为 9999
nc -lk 9999

// 实时读取端口数据
senv.socketTextStream("node1", 9999).flatMap(_.split("\\s+")).map((_, 1)).keyBy(0).sum(1).print()

// 执行
senv.execute("WordCount")

在这里插入图片描述

④ 访问UI

在这里插入图片描述

① 本地集群模式启动

# 启动集群
cd /opt/server/flink
bin/start-cluster.sh

# 停止集群（不用的时候可以停止）
/bin/stop-cluster.sh

在这里插入图片描述
② 执行批处理

cd /opt/server/flink

bin/flink run /opt/server/flink/examples/batch/WordCount.jar --input /opt/server/words.txt

在这里插入图片描述
③ 执行流处理

# 启动输出工具
nc -lk 9000

# 启动测试用例
bin/flink run /opt/server/flink/examples/streaming/SocketWindowWordCount.jar --port 9000

在这里插入图片描述

在这里插入图片描述
④ 查看测试用例结果输出

关注

专栏目录