Flink YARN 报错：ClassNotFoundException: org

最新推荐文章于 2024-07-25 09:48:00 发布
最新推荐文章于 2024-07-25 09:48:00 发布
阅读量338 收藏 1
点赞数 1
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TechWhiz/article/details/132638082
版权
大数据 专栏收录该内容
182 篇文章 12 订阅 ¥59.90 ¥99.00
订阅专栏

Flink YARN 报错：ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ 大数据

在大数据领域中，Apache Flink 是一个流处理和批处理框架，常用于处理实时数据流和大规模数据集。在使用 Flink 的过程中，有时会遇到一些错误和异常情况。其中，ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ 是一种常见的错误，本文将详细介绍该错误的原因和解决方法。

错误原因

ClassNotFoundException 表明在运行时找不到指定的类。对于报错信息中提到的类 org.apache.hadoop.yarn.api.ApplicationConstants$Environ，它属于 Hadoop YARN（Yet Another Resource Negotiator）的 API 类库。YARN 是 Apache Hadoop 生态系统的一部分，用于资源管理和作业调度。在 Flink 的 YARN 集群模式中，Flink 作为一个应用程序运行在 YARN 上，因此依赖于 Hadoop YARN 的相关类。

当出现 ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ 错误时，通常有两个可能的原因：

  1. 缺少 Hadoop YARN 依赖：Flink 需要依赖 Hadoop YARN 的类库才能正常运行。如果在 Flink 的运行环境中缺少这些类库，就会导致找不到相应的类而报错。

  2. 依赖版本冲突：另一个可能的原因是 Flink 和 Hadoop YA

了解本专栏 订阅专栏 解锁全文
程序才子
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
【Flink】Flink yarn 下报错ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ
九师兄
08-29 1385
flink启动日志报错如下 flink 在yarn上的日志报错如下 最后结局原因如下参考建议确保 Flink 版本与 YARN 版本兼容。不同的 Flink 版本可能需要不同版本的 YARN。请确保你使用的 Flink 版本与你的 YARN 版本兼容。检查环境和类路径设置。确保在运行 Flink 任务之前，所有必需的依赖项包括 YARN 和 Hadoop 相关的类库都正确地配置在类路径中。检查 Flink 的 flink-yarn_*.jar 文件是否正确下载并部署。这个文件包含了 Flink 与 YARN
Flink 1.9 : Wordcount报错：ClassNotFoundException: yarn.exceptions.YarnException
九师兄
09-24 3085
1.背景 启动flink lcc@lcc bin$ ./start-cluster.sh Starting cluster. Starting standalonesession daemon on host lcc. Starting taskexecutor daemon on host lcc. 然后执行wordcount命令 lcc@lcc flink-1.9.0$ ./bin/flin...
Flink Yarn 模式启动 错误问题集锦
我是小坏
02-20 4139
1、Yarn 模式启动找不到类的问题 Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(C...
flink on yarn模式启动报错：org.apache.hadoop.yarn.exceptions.YarnException
m0_37759590的博客
06-26 109
flink on yarn模式启动报错：org.apache.hadoop.yarn.exceptions.YarnException
Flink 1.10 :第一次运行报错：ClassNotFoundException: yarn.exceptions.YarnException
joomlaer的专栏
10-22 1007
flink有三种启动方式。本地方式，集群方式，和flink on yarn。 现在说第三种生产上最常用的flink on yarn方式。 首先启动flink on yarn。 出现问题: 第一次运行报错：ClassNotFoundException: yarn.exceptions.YarnException 这个错误，解决方法很简单。需要把把官方的flink-shaded-hadoop-2-uber-2.7.5-7.0.jar放到flink的lib目录里。 由于这个包在国外服务器上，下载很慢，
Flink报错：Error: A JNI error has occurred, please check your installation and try again
海若_matrix的博客
06-22 1054
2.解决方案 将对应依赖包作用域调整为compile 报错内容中找不到的类所在的依赖即为需调整内容。修改完依赖配置，记得更新依赖。
FlinkSQL实战：HBase的结合应用
02-23
而当下FlinkSQL的火热程度不用多说，FlinkSQL也为HBase提供了connector，因此HBase与FlinkSQL的结合非常有必要实践实践。当然，本文假设用户有一定的HBase知识基础，不会详细去介绍HBase的架构和原理，本文着重介绍...
flink-learn：学习Flink
01-28
Maven 模板 : https://www.mvnjar.com/org.apache.flink/flink-quickstart-scala/jar.html <br> 注意 ： 当在idea上调试时，先将 es-shade install。然后 ignore Project：es-shade ；否则有冲突问题 Flink提交 ！...
flink-web：Apache Flink网站
02-05
该存储库包含Flink网站： : 。 您可以在以下位置找到此存储库的说明： : 。 在本地测试更改 您可以使用如下所示的Docker来构建网站（而无需增加主机环境）。 作为此调用的一部分传递的参数将转发到build.sh 。 # ...
Flink完美搭档：数据存储层上的Pravega
02-02
本文将从大数据架构变迁历史，Pravega简介，Pravega进阶特性以及车联网使用场景这四个方面介绍Pravega，重点介绍DellEMC为何要研发Pravega，Pravega解决了大数据处理平台的哪些痛点以及与Flink结合会碰撞出怎样的...
在 Windows 搭建 flink 运行环境并模拟流数据处理
明而决之
07-24 919
在大数据场景中，开发者追求高效与灵活，Linux 系统以其稳定性成为众多组件的首选，但在资源有限的情况下，在本机搭建一个 Linux 虚拟机集群却显得过于笨重，启动、运行占资源，需要配置网络，无法和windows共享资源，尤其是对只有 8GB 内存的 Windows 系统用户来说，内存压力显而易见。尽管如此，也挡不住一个学习者的“热情”。本文介绍怎么在 Windows 本地搭建 Flink 环境，注意这是一个伪分布式的测试环境。
【flink】之如何消费kafka数据？
it_erge的博客
07-23 346
为了编写一个使用Apache Flink来读取Apache Kafka消息的示例，我们需要确保我们的环境已经安装了Flink和Kafka，并且它们都能正常运行。此外，我们还需要在项目中引入相应的依赖库。以下是一个详细的步骤指南，包括依赖添加、代码编写和执行说明。
Flink笔记整理（三）
LUyan10086的博客
07-22 870
DataStream API是Flink的核心层API，一个Flink程序，其实本质就是对DataStream的各种转换。创建执行环境 设置执行模式 触发执行 Flink是由事件驱动的，只有等到数据到来，才会触发真正的计算，这也被称为“延迟执行”或“懒执行”。 5.2 Source Flink可以从各种来源获取数据，然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源（data source），而读取数据的算子就是源算子（source operator）。所以，source就是整个处理程
Apache Flink窗口详解
喻师傅的学习笔记
07-23 1178
Apache Flink 的核心功能之一是窗口处理，它允许开发人员以基于时间或基于计数的方式分组和处理数据流。窗口技术是一种根据某些标准将数据流划分为有限块（称为窗口）的技术。窗口（Window）是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中，再对每个“桶”加以处理。例如，您可以根据时间间隔（每 5 分钟）、事件计数（每 100 个事件）或会话边界（不活动间隙）定义窗口。在每个窗口内，您可以对数据进行各种操作，如聚合（总和、平均、计数）、转换（映射、过滤、连接）或复杂的业务逻辑。
分布式系统常见软件架构模式
最新发布
Ben的专栏
07-25 942
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
SpringBoot整合Elastic-Job 2.1.53版本任务调度，手动任务，动态添加任务演示
小哇
07-23 358
zookeeper安装并成功运行。
数据分析师学习路线与就业环境分析报告
关注收藏，可以私信解决问题！
07-23 949
数据分析师负责收集、处理和分析数据，以帮助企业做出基于数据的决策。他们使用统计方法、数据建模和数据可视化技术来解释复杂的数据集。
江苏科技大学24计算机考研数据速览，有专硕复试线大幅下降67分！
m0_72717598的博客
07-23 463
江苏科技大学（Jiangsu University of Science and Technology），坐落在江苏省镇江市，是江苏省重点建设高校，江苏省人民政府与中国船舶集团有限公司共建高校，国家国防科技工业局与江苏省人民政府共建高校 ，教育部卓越工程师教育培养计划高校，教育部本科教学工作水平评估优秀学校，江苏省高水平大学建设高峰计划B类建设高校，中国船舶与海洋工程产业知识产权联盟、江苏船舶与海洋类高校协同发展联盟牵头单位。其中，研究生新生学业奖学金特等奖3万，一等奖1.2万，二等奖0.8万；
启动flink standalone 报错: Name or service not knownname t-dn01为什么
05-27
这个错误提示是因为 Flink 无法解析 `t-dn01` 这个主机名。这有可能是因为您的主机名设置有误或者您的 DNS 配置不正确。 您可以检查以下几个方面： 1. 确认 `t-dn01` 这个主机名是否正确，可尝试使用 `ping t-dn01...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值