Flink: Wordcount应用程序报错：ClassNotFoundException: yarn

最新推荐文章于 2023-09-05 15:59:46 发布
最新推荐文章于 2023-09-05 15:59:46 发布
阅读量175 收藏 1
点赞数 1
文章标签： flink c# 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DevEnigma/article/details/132329488
版权
大数据 专栏收录该内容
178 篇文章 13 订阅 ¥59.90 ¥99.00
订阅专栏
在使用Apache Flink的Wordcount应用程序时，可能会遇到ClassNotFoundException: yarn.exceptions.YarnException错误。该错误通常由依赖库缺失或版本不兼容引起。为解决此问题，可以检查并确保项目的Flink和Yarn依赖库正确配置，检查运行环境的Flink和Yarn配置文件，以及验证所用版本的兼容性。通过这些步骤，应该能有效解决此类错误。
摘要由CSDN通过智能技术生成

Flink: Wordcount应用程序报错：ClassNotFoundException: yarn.exceptions.YarnException 大数据

近年来，随着大数据技术的快速发展，人们对于处理海量数据的需求也日益增长。Apache Flink作为一种流式计算框架，在大数据处理领域得到了广泛应用。然而，有时候在使用Flink时会遇到一些错误和异常情况，例如Wordcount应用程序报错：ClassNotFoundException: yarn.exceptions.YarnException。本文将深入探讨这个问题，并提供相应的解决方案。

首先，让我们先来了解一下Wordcount应用程序。Wordcount是大数据领域中一个经典的示例，它的任务是统计给定文本中每个单词的出现次数。下面是一个简单的Wordcount应用程序的源代码：

import org.apache.flink.api.java<
了解本专栏 订阅专栏 解锁全文
Flink 1.9 : Wordcount报错：ClassNotFoundException: yarn.exceptions.YarnException
九师兄
09-24 3099
1.背景 启动flink lcc@lcc bin$ ./start-cluster.sh Starting cluster. Starting standalonesession daemon on host lcc. Starting taskexecutor daemon on host lcc. 然后执行wordcount命令 lcc@lcc flink-1.9.0$ ./bin/flin...
Flink 1.13.5 本地运行 ClassNotFoundException: xxx
SmartSi
05-04 245
这些依赖项是 Flink 核心依赖项，在实际运行时已经被加载，只需要对它们进行编译，不应将它们打包到项目生成的应用程序 jar 文件中
java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
微电子学与固体电子学-俞驰
06-06 4925
flink提交任务卡死,cancel job以后，在$FLINK_HOME/log/flink-appleyuchi-client-Desktop.log 发现该报错: java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:264)
新建flink项目，出现ClassNotFoundException异常
YellowXiuHui的博客
06-08 2452
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/api/common/typeinfo/TypeInformation at com.atguigu.day01.WordCountFromSocket.main(WordCountFromSocket.scala) Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.comm
flink实战--flink on yarn
阿华田的博客
10-31 5673
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
Flink on yarn模式部署
litlit023的专栏
02-02 2932
目录 1. 基于docker部署cdh 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 2.2 jdk7造成的错误 3. 启动flink on yarn模式 1. 基于docker部署cdh 基于Docker搭建CDH单机单节点集群_litlit023的专栏-CSDN博客 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 基于docker 部署cdn后，启动flink on yarn模式，报了以下错误 ./bin/yarn-session.sh -n
Flink on YARN（下）：常见问题与排查思路
阿里云技术
10-10 710
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程，本文将根据社区大群反馈，解答客户端和 Flink ...
Flink报错找不到程序的入口点类
最新发布
m0_60565154的博客
09-05 733
查看日志发现报错The program's entry point class 'XXXXX' was not found in the jar file.Flink配置了pom的打包插件，在Web界面上传Jar包后尝试运行还是报错Internal server error.在IDEA中运行程序，运行完成后再打包，重新上传（没有编译的问题，需要class文件）
flink的scala版本的wordcount+flink没有输出结果的几种原因
微电子学与固体电子学-俞驰
06-08 2684
$FLINK_HOME/bin/start-cluster.sh 输出结果在: $FLINK_HOME/log/flink-appleyuchi-taskexecutor-1-Desktop.out 找不到输出结果的原因有如下几种： ①前面的job没有cancel影响下一个,可以输入flink list后用flink cancel删除。 ②yarn的queue资源被占满了。 ③ 输出结果在yarn的界面中的某个节点或者某个节点的#$FLINK_HOME/log下面 ④不要删除...
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException
tutouxiaocaiji的博客
05-05 5435
关于hadoop报错：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException 具体报错内容为：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException at java.net.URLClassLoa
NoClassDefFoundError:org/apache/hadoop/yarn/exceptions/YarnException
huaweitman的专栏
06-08 1658
https://www.cnblogs.com/infoo/p/13385069.html
反射执行FlinkSql代码时找不到UDF的class报ClassNotFound
qq_44741568的博客
12-21 2007
通过组件的方式配置flinkSql的流程，其中有测试环节，就是将生成的源代码通过反射执行一遍。其余组件都正常，就是使用UDF的时候报错ClassNotFound。 udf的注册代码如下： TableEnvironment tbEnv; ...... tbEnv.createTemporarySystemFunction("udf名字", 全类名.class); 经过排查，它会在如下scala代码中进行实例化。但它实例化的过程中呢是先拿到一个二进制的文件、然后再从Thread.currentThread(
开发Flink本地WordCount程序（Java）问题总结
xgysimida的博客
04-09 353
在刚接触Flink时，踩了很多坑，接下来就把自己的遇到的问题和大家分享： 首先分享正确的过程： 1、在idea中新建maven项目，在pom.xml文件中导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId>
Flink 1.10 :第一次运行报错：ClassNotFoundException: yarn.exceptions.YarnException
joomlaer的专栏
10-22 1041
flink有三种启动方式。本地方式，集群方式，和flink on yarn。 现在说第三种生产上最常用的flink on yarn方式。 首先启动flink on yarn。 出现问题: 第一次运行报错：ClassNotFoundException: yarn.exceptions.YarnException 这个错误，解决方法很简单。需要把把官方的flink-shaded-hadoop-2-uber-2.7.5-7.0.jar放到flink的lib目录里。 由于这个包在国外服务器上，下载很慢，
MapReduce运行在Yarn集群报错：java.lang.ClassNotFoundException: Class com.zm.WcMapper not found
qq_34864753的博客
05-05 720
Flink编程实践：WordCount程序开发与运行
"本实验是关于大数据技术中的Flink初级编程实践，旨在让学习者掌握Flink编程基础和使用IntelliJ IDEA开发Flink程序的方法。实验内容包括在Ubuntu环境中安装IDEA，编写并运行WordCount程序，以及实现数据流词频统计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值