flink填坑之jar包另一种打包方式

最新推荐文章于 2024-09-20 12:26:33 发布

i_monster

最新推荐文章于 2024-09-20 12:26:33 发布

阅读量6.9k

点赞数

本文链接：https://blog.csdn.net/i_monster/article/details/80007753

版权

最近玩flink真的是疯掉了，新手想要打包maven工程又出问题了，找不到terminal，mvn命令不认识，又不存在goal，直接换思路网上找到另一种打包方式

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

i_monster

关注关注

0
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【Flink】Flink on Yarn 翻译使用 hdfs jar yarn.provided.lib.dirs

九师兄

09-19

988

看这个起源于一个群友的问题。群友写了UDF.jar想放到hdfs上，然后运行的时候，希望指定hdfs jar，希望能加载进去尝试使用如下方法发现不可以后面经过网友一起讨论，发现有这个参数。然后我在源码中找到如下案例顺便把整篇文章翻译了一下。

Maven 构建 Flink 应用程序的最佳实践（根除各种类冲突/类加载问题）

Laurence的技术博客

04-27

2340

作为开发者，在构建 Flink 应用程序时的体验真是一言难尽，想必大家都曾遇到过各种 ClassNotFoundException、NoSuchMethodError 以及 Could not find any factory for identifier kafka/jdbc/hive/hudi that implements org.apache.flink.table.factories.DynamicTableFactory in the classpath 这样的错误。坦率地说，Flink 的应用

参与评论您还未登录，请先登录后发表或查看评论

flink 启动Job加载外部jar都有哪些方法

最新发布

longxibo的博客

09-20

1147

flink job 装入外部jar

flink安装所需要的第三方jar

03-03

flink安装所需要的第三方jar，即flink-shaded-hadoop-2-uber-2.7.5-10.0.jar

使用Maven对JAVA程序打包－带主类、带依赖

weixin_33843409的博客

03-11

180

使用Maven对JAVA程序打包－带主类、带依赖 http://blog.csdn.net/strongyoung88/article/details/54097830

Scala 打包 flink 程序，找不到主类

编程者说的博客专栏

09-10

826

在flink开发的时候，scala程序在打包编译的时候，进不来，但是在idea里面直接运行是没有问题的。找了下原因，需要引入scala的编译插件，mark下。 scala-maven-plugin <build> <plugins>  <plugin> <groupId>net.alc

hive执行jar包报错：Invalid signature file digest for Manifest main attributes

MDJ_D2T的博客

08-24

613

重新打包，排除包中的 *.SF *.DSA *.RSA 文件；修改 jar包的pom文件后，重新打包即可； <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version&gt

Flink入门（三）——环境与部署

微信搜：import_bigdata，大数据领域硬核原创作者

01-06

1810

flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行，包括本地调试环境，集群环境。另外介绍Flink的开发工程的构建。首先要想运行Flink，我们需要下载并解压Flink的二进制包，下载地址如下：https://flink.apache.org/downloads.html...

flink流处理

weixin_43705952的博客

12-07

1989

<?xml version="1.0" encoding="UTF-8"?> -<project xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"&gt

Flink 读写Kafka总结

主要分享大数据相关的知识，如Spark、Hudi

07-05

2023

总结Flink读写Kafka。

flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey

01-22

当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig

【Flink】入门Demo实现、Flink运行架构之运行时组件，任务提交流程，任务调度原理

weixin_43923463的博客

11-23

1061

在编写程序时需要注意：Flink程序支持java和scala两种语言。在引入包中，有java和scala两种包时注意要使用对应语言的包。总结：数据流的来源是DataStreamSource，执行map操作之后，变为单输出流的算子SingleOutputStreamOperator，经过shuffle操作之后，变为一个键控流（按照key进行逻辑分区的流）KeyedStream，分组之后的流再聚合完成之后，发送给下游，流又变成单输出流SingleOutp

1. Flink程序打Jar包

doing a 责任心 dataer

10-01

1682

【代码】1. Flink程序打Jar包。

Flink作业打Flat包配置

日三醒而智明

06-16

229

<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <inherited>false</inherited> .

Flink混合编译（No SuchMethodError、ClassNotFoundException、NoClassDefFoundError、Could not resolve ）附完整解决方案

alike_u的博客

07-22

1105

一、Flink任务提交集群问题描述本文的背景是编程语言使用Scala，Flink程序提交的方式是Per-Job Cluster Mode，Flink程序打包形式是采用胖包打包。 Flink程序Jar包提交的过程中，遇到的问题有： NoSuchMethodError Could not resolve ResourceManager address akka.... ClassNotFoundException NoClassDefFoundError 上述的所有问题的根源都是mave...

【Flink】提交jar包到Flink集群并运行

weixin_65690086的博客

07-19

3613

【Flink】提交jar包到Flink集群并运行

flink如何动态支持依赖jar包提交

weixin_30512785的博客

08-06

1589

通常我们在编写一个flink的作业的时候，肯定会有依赖的jar包。flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做。但事实是我们往往不愿意打一个fat jar，我们希望将业务逻辑独立出来，依赖动态提交。可惜的是，flink并不支持这种提交模式。 flink官方的文档中提...

多环境 Flink Job 的生成方案（Maven）

hantangduhey的博客

09-05

1014

多环境 Flink Job 的生成方案（Maven）

flink动态加载jar包

03-29

Flink支持动态加载Jar包，可以在运行时动态添加、移除Jar包，以便于实时更新应用程序。下面是一个简单的示例： 1. 创建一个Flink应用程序，例如WordCount，打包成Jar包。 2. 在Flink集群中启动一个JobManager和一个或多个TaskManager。 3. 使用Flink提供的命令行工具flink run启动WordCount应用程序，例如： ``` flink run -c com.example.WordCount /path/to/wordcount.jar ``` 4. 在运行WordCount应用程序时，可以使用Flink提供的REST API或Web界面动态添加或移除Jar包。例如，可以使用以下REST API请求动态添加Jar包： ``` POST /jars/upload Content-Type: multipart/form-data Upload-Jar: true <file upload> ``` 注意，需要将Upload-Jar头设置为true，以便告诉Flink上传的文件是Jar包。 5. 添加Jar包后，可以使用Flink提供的REST API或Web界面启动新的作业，并使用新添加的Jar包。例如，可以使用以下REST API请求启动新的作业： ``` POST /jobs Content-Type: application/json { "jarPath": "/jars/myjar.jar", "className": "com.example.MyJob", "args": ["arg1", "arg2"] } ``` 这将启动一个新的作业，使用新添加的Jar包，并调用MyJob类的main方法，传递arg1和arg2参数。注意，需要将jarPath设置为新添加的Jar包的路径，而不是原始的WordCount应用程序的路径。 6. 移除Jar包时，可以使用Flink提供的REST API或Web界面删除Jar包。例如，可以使用以下REST API请求删除Jar包： ``` DELETE /jars/myjar.jar ``` 这将删除名为myjar.jar的Jar包，如果有作业正在使用该Jar包，则会在作业完成后删除Jar包。总之，Flink的动态Jar包加载功能非常强大，可以帮助用户实现实时更新应用程序的需求。