最快简单的Apache Flink入门

最新推荐文章于 2024-12-04 17:12:11 发布

baerwang

最新推荐文章于 2024-12-04 17:12:11 发布

阅读量419

点赞数 1

分类专栏： Flink Java

本文链接：https://blog.csdn.net/qq_42940222/article/details/113998803

版权

本文介绍了Apache Flink的入门步骤，包括在CentOS7环境下安装Java，下载并启动Flink，编写Java代码实现数据处理，通过Maven构建项目并打包成jar，最后在命令行中运行Flink作业，并展示了如何在Flink Web UI上提交和监控任务。

摘要由CSDN通过智能技术生成

Flink-入门

安装

为了能够运行Flink，唯一的要求是安装有效的Java 8或11。您可以通过发出以下命令来检查Java的正确安装：

java -version

安装环境 centos7

下载Flink ，我这里安装的是1.11.3版本，下载好文件并压缩

tar -zxvf flink-1.11.3-bin-scala_2.11.tgz
cd flink-1.11.3

启动

 ./bin/start-cluster.sh

访问ip:8081，注意访问flink页面注意端口是否开放，防火墙是否关闭，否则访问不到

我们来写个代码，打包成jar，上传jar包启动，这里写的是Java语言

我们来使用flink的mvn命令来构建maven项目工程，注意使用mvn命令，需要要安装maven，这里我用的是window系统

在任何磁盘创建一个空的目录，打开cmd、对应创建的目录

mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-walkthrough-datastream-java -DarchetypeVersion=1.12.0 -DgroupId=frauddetection -DartifactId=frauddetection -Dversion=0.1 -Dpackage=spendreport -DgroupId=com.baerwang -DartifactId=flink_test -Dversion=1.0.0 -DinteractiveMode=false

生成好以后，打开项目，打开spendreport包名，里面有两个类(FraudDetectionJob、FraudDetector)把这些删掉，使用mvn生成项目使用他导入的包即可。

新建一个类(SocketTextStreamWordCount)

package spendreport;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * @author baerwang
 * @since 2021/2/23 15:31
 */
public class SocketTextStreamWordCount {
   

    public static void main(String[

最低0.47元/天解锁文章