flink实战--MAC-flink环境搭建&wordcount实现

最新推荐文章于 2024-06-17 12:55:03 发布

小白数据猿

最新推荐文章于 2024-06-17 12:55:03 发布

阅读量1k

点赞数

分类专栏： flink实战&源码分析

本文链接：https://blog.csdn.net/lidongmeng0213/article/details/104878642

版权

本文详细介绍了如何在MAC系统中搭建Flink 1.10.0环境，包括配置Java环境和Flink环境，以及如何启动Flink。接着通过创建Maven工程，添加Flink依赖，编写WordCount程序并实现本地运行和通过Web UI提交任务。提供了完整的代码参考链接。

摘要由CSDN通过智能技术生成

flink环境搭建

java环境

这里我使用的是jdk 1.8，下载jdk，自行设置环境变量。

$: java -version
java version "1.8.0_221"
Java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode)

flink环境

目前Flink已经发展到1.10.0，我们采用最新的版本进行环境搭建，我们从这里下载最新版本的Flink安装包。
在这里插入图片描述
解压放到我们经常存放software的地方，然后进行环境变量的更改:

FLINK_HOME=/Users/lidongmeng/software/flink-1.10.0
PATH=$PATH:$FLINK_HOME/bin

terminal里面进行查看Flink version信息:

$: flink --version
Version: 1.10.0, Commit ID: aa4eb8f

flink启动

让我们先启动起来flink，看一看flink自身提供的web UI。

$: ~/software/flink-1.10.0/bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host localhost.
Starting taskexecutor daemon on host localhost.

启动后，我们可以在web界面上面查看：
在这里插入图片描述

flink–wordcount实现

详细代码参见：https://github.com/ldm0213/flink-repos

创建maven工程

笔者使用IDEA作为编辑器进行开发，创建maven项目:
在这里插入图片描述
指定groupId和artifactId:

添加maven依赖

接下来我们需要添加flink需要的包依赖：

<properties>
    <flink.version>1.10.0</flink.version>
    <scala.compiler.version>2.11</scala.compiler.version>
    
    <!-- 指定maven编译时候的java版本 -->
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
</properties>