Flink之小白Maven搭建和本地部署

最新推荐文章于 2024-08-05 18:58:25 发布
最新推荐文章于 2024-08-05 18:58:25 发布
阅读量1k 收藏 1
点赞数
分类专栏： Flink入门及实战 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/108891474
版权
本文档介绍了如何使用Maven搭建Flink项目，从创建基于flink-quickstart-scala的工程开始，详细阐述了StreamingJob.scala的flatMap操作，接着讲解了Flink的本地部署步骤，包括下载、解压、启动集群、打包提交程序及在Web UI中查看作业状态。在遇到ClassNotFoundException时，提供了调整log4j2.properties的解决方案，并给出了启动和停止Flink集群的方法。
摘要由CSDN通过智能技术生成

Maven搭建

使用Flink官方提供的flink-quickstart-scala原型来创建我们的工程，因为Flink官方提供的pom.xml经过了精心配置，可以打包出很小的Jar包。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Linux-flink单节点安装
m0_61813695的博客
06-28 1169
Flink官网：Operations | Apache FlinkFlink和Kafka对应关系访问Maven仓库：https://mvnrepository.com/ 查询flink-connector-kafka 本文flink使用版本为：flink-1.15.4-bin-scala_2.12.tgz 所以对应Kafka版本为： 本文使用版本为：Flink下载地址（全量版本均可下载：Downloads | Apache Flink）flink-1.15.4-bin-scala_2.12.tgz 国
Java基础入门：IDEA软件安装和软件初始化设置
Aa112233aA1的博客
03-14 1093
IDEA是一个专门针对Java的集成开发工具(IDE)，由Java语言编写。所以，需要有JRE运行环境并配置好环境变量。 它可以极大地提升我们的开发效率。可以自动编译，检查错误。在公司中，使用的就是IDEA进行开发。 此软件集成了32位和64位，双击 ideaIU-2017.3.2.exe 进入安装。 选择安装路径，修改路径到D盘，将软件安装到D盘也可以根据自己的需要更改安装路径，这里我选择了d盘，之后“next”进入下一步。 之后来配置安装选项，将64位启动程序安装到桌面。 开始菜单选择Instal
mavenflink.rar flink整理的依赖包，方便实用
07-26
mavenflink.rar flink整理的依赖包，方便实用
windows本地开发flink的maven文件以及简单示例代码
统木木的博客
05-01 537
pom包： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h...
maven-plugins---maven-assembly-plugin
小程序员成长中......
03-09 537
1、使用assembly打可执行fat jar org.apache.maven.plugins maven-assembly-plugin 2.6 jar-with-dependencies xxx
Flink 本地执行入门
qq_34936033的博客
05-15 617
一、maven依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.6.3</flink.version> <java.version>1.8</j...
Flink Maven 打包 Scala和Java混编
wFitting的博客
07-13 1046
Flink Maven 打包 Scala和Java混编 今天在打包Flink Job的时候，虽然是打包成功了，但是提交到Flink上运行的时候报找不到类。一开始是找不到主类，后来在网上找了好多maven的打包配置，找不到主类的问题是好了。因为Flink Job中用到了ElasticSearch的Sink，发现ES的Sink底层都是用Java编写的，结果打包的时候打不进去，报找不到类的错误。最终结合了网上许多的maven配置，终于成功了。 下面我把pom.xml文件中build部分内容分享出来，希望可以帮到大
Flink开发环境与日志配置详解
在部署和运行Flink应用时，可以选择不同的模式，如单机standalone模式、standalone集群模式和YARN集群模式。每种模式都有其特定的配置和启动方式，例如standalone模式只需启动`bin/start-cluster.sh`脚本，而YARN...
新手小白大数据学习路线规划
Hadoop环境搭建教程
02-12 1808
上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。 语言基础 1. Java 大数据框架大多采用 Java 语言进行开发，并且几乎全部的框架都会提供 Java API 。Java 是目前比较主流的后台开发语言，所以网上免费的学习资源也比较多。如果你习惯通过书本进行学习，这里推荐以下入门书籍： 《Java编程的逻辑》：这里一本国人...
Flink开发环境搭建（maven）
weixin_34087301的博客
03-01 712
1、下载scala sdk http://www.scala-lang.org/download/直接到这里下载sdk，(https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.msi) 2、下载scala for intellij idea的插件 File->setting->plugins里搜索Scala，然...
Flink-maven(包括打包代码)
Knight
07-03 2037
我的scala是2.11 flink是1.7.2 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version>
Flink程序打包 maven配置（scala版本）
热门推荐
Mathieu66的博客
10-31 1万+
在IDEA中开发Flink程序时，如果把Flink核心依赖包的scope设置为provided，测试会报NoClassDefFountError，但如果设置为compile，打包时核心包也会被打进去。一来包会很大，二来可能会引发jar包冲突，很不方便。 官方给的建议是使用profile标签，提供可选择的scope范围。 核心包scope值全部设置为provided,其他包缺省，配合profil...
flink maven依赖自用（项目用）
SQL_mjkl963124412的博客
07-26 1508
自用flinkmaven依赖
flink学习（一）---Maven配置简单易学
galaxiansheng的博客
07-13 1795
一、下载Maven 进入官网http://maven.apache.org/ 点击Download 进入官网之后： 我演示的是windows的配置步骤： 1.将安装包放入C盘，进行解压，将maven文件夹放入c盘的工程文件夹中ProgramFiles. 2.进入windows的环境变量编辑中，先编辑用户变量,创建：MAVEN_HOME，变量值是：maven工程目录的绝对路径。 3.在path中添加maven的bin文件夹的绝对路径 4.在系统变量中的Pat...
JavaFlink系列之一：Maven程序搭建及Java入门案例多种写法
qq_44000055的博客
10-20 1745
一、Flink项目依赖配置。二、JavaFlink案例。
flink开发maven idea配置
weixin_38251332的博客
04-19 4526
pom.xml文件： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.
Flink Maven 依赖
最新发布
王小工小工历程
08-05 1164
定义：Apache Flink ML是Apache Flink的扩展库，提供了一套全面的机器学习（ML）API和基础设施，旨在简化机器学习管道的构建过程。开发者：Apache软件基金会编程语言：支持Python和Java，方便不同编程背景的开发者使用。
58、Flink 的项目配置使用 Maven 详解
猫猫爱吃小鱼粮
07-04 1501
Flink 的项目配置使用 Maven 详解
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
永远好奇，无限进步！
06-27 1416
已经使用 `Dockerfile` + `docker-compose` 的方式启动了Flink的服务- 1个JobManager - 1个TaskManager。打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin。
Flink本地部署与使用指南
"这篇文档是关于Flink的安装与使用教程，主要涵盖了本地部署的步骤以及简单的操作示例。作者zealscott分享了如何在本地环境中安装Flink，包括从官网下载、解压、修改配置文件、添加环境变量以及启动Flink集群。此外...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值