【FLINK】 No Executor found. Please make sure to export the HADOOP_CLASSPATH

最新推荐文章于 2024-08-01 04:25:17 发布
最新推荐文章于 2024-08-01 04:25:17 发布
阅读量3.1k 收藏 3
点赞数 2
分类专栏： flink 文章标签： flink 实时大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42868529/article/details/115865915
版权

背景：

使用java执行flink代码的时候出现报错（有小伙伴提到在新环境安装的flink中初次执行flink代码也可能会出现同样的错误）

报错提示：

No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath

在这里插入图片描述

原因：

原因：
产生这个问题的原因这个，具体的意思就是从Flink 1.11开始，flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。建议用户通过提供Hadoop依赖关系HADOOP_CLASSPATH（请参见上文），官方(https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html)

解决：

1、设置环境变量HADOOP_CLASSPATH
2、下载 JAR包flink-shaded-hadoop-xxx.jar放在flink的lib目录下

我们推荐第二种解决方式：
下载jar包

 wget -i https://repo1.maven.org/maven2/org/apache/flink/flink-shaded-hadoop-2/2.6.5-10.0/flink-shaded-hadoop-2-2.6.5-10.0.jar

在这里插入图片描述
放到flink的lib目录下，这样就好啦

林筱
关注
专栏目录
Flink:java.lang.IllegalStateException: No Executor found. make sure to export the HADOOP_CLASSPATH
zhengzaifeidelushang的博客
05-19 2670
java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the “Deployment” section of the official Apache Flink documentation. .
【Flink】 No Executor found. Please make sure to export the HADOOP_CLASSPATH environment
一杯咖啡半杯糖的博客
10-25 1108
Flink No Executor found. Please make sure to export the HADOOP_CLASSPATH environment
hadoop classpth配置
最新发布
weixin_36676708的博客
08-01 136
给大家整理了一些有关【AD】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/15764.htmlHadoop Classpath 配置指南 Hadoop 是一个开源的分布式计算框架，广泛应用于大数据处理。Hadoop 的工作依赖于正确的 classpath 配置。这篇文章将为你介绍...
Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpat
JavaBigData的博客
11-05 940
【代码】Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpat。
flink 提交程序报错No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable
m0_65850671的博客
08-22 298
【代码】flink 提交程序报错No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable。
Flink SQL 客户端查询Hive配置及问题解决
主要分享大数据相关的知识，如Spark、Hudi
08-27 1953
记录博主第一次使用Flink SQL查询Hive的配置以及问题解决过程flink-1.14.3，这里使用kyuubi1.5.2自带的FlinkHDP环境，Hadoop、Hive等已经安装配置好export HADOOP_CLASSPATH=可以添加在比如/ect/profile里，这样等于修改全局的环境，如果想只对Flink生效，可以添加在bin/config.sh文件里 jar包 下载地址：https://repo1.maven.org/maven2/org/apache/flink/flink-con
【Flink】Could not instantiate the executor. Make sure a planner module is on the classpath
九师兄
06-27 3482
1.背景 想测试一下Flink的UDF.想在FlinkSQL 中使用一些自定义的函数，maven如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven..
Flink报错汇总
zhengzaifeidelushang的博客
05-19 330
Flink报错汇总 文章 链接 Flink:java.lang.IllegalStateException: No Executor found. make sure to export the HADOOP_CLASSPATH Flink:java.lang.IllegalStateException: No Executor found. make sure to export the HADOOP_CLASSPATH
flink启动错误Executor found. Please make sure to export the HADOOP_CLASSPATH environment
m0_67144365的博客
05-11 1239
The program finished with the following exception: java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment &am
flink- java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLA
weixin_52661752的博客
05-28 757
flink- java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath.
java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH
Oz_Mood的博客
03-19 674
这通常是因为Flink需要访问Hadoop的类和配置文件，但是没有正确地设置HADOOP_CLASSPATH环境变量，或者Hadoop的类没有包含在Flink的类路径中。请注意，如果你正在使用YARN来运行Flink作业，那么YARN通常会提供必要的Hadoop类路径。： 如果你需要更多关于如何部署和操作Flink集群的信息，可以参考官方的Apache Flink文档中的"Deployment"部分。替换为你需要的Hadoop版本对应的Flink shaded JAR的版本号。为你的Hadoop安装目录。
Flink系列： 解决No ExecutorFactory found to execute the application
NIO4444
04-05 667
目录 现象 原因 引入缺少包 现象 flink1.11版本报错 Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorSer
oozie报错java.lang.NoSuchFieldError: HADOOP_CLASSPATH
ringsuling的博客
05-27 1023
解决方法： 在路径/usr/local/oozie/oozie-server/webapps/oozie/WEB-INF/lib下面，查找2.6.0版本的hadoop包，然后删除或者移走备份。
关于hadoop的环境变量
weixin_30917213的博客
04-05 70
exportPATH exportJAVA_HOME=/opt/jdk1.7 exportPATH=$PATH:$JAVA_HOME/bin 为什么/etc/profile 添加了环境变量hadoop还要再添加一遍，1和3？？？ 转载于:https://www.cnblogs.com/johnnyflute/p/3647571.html...
flink 运维中遇到的问题
h952520296的博客
03-03 8759
1. Java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment" section of the official Apache Flink documentation.
[1133]flink问题集锦
周小董
04-23 6150
文章目录 问题1： Could not get job jar and dependencies from JAR file: JAR file does not exist: -yn 原因：flink1.8版本之后已弃用该参数，ResourceManager将自动启动所需的尽可能多的容器，以满足作业请求的并行性。解决方法：去掉即可 问题2： java.lang.IllegalStateException: No Executor found. Please make sure to export t
【flink1.14.4】java.lang.IllegalStateException: No Executor found
m0_37306331的博客
03-23 1256
java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment" section of the official Apache Flink documentation
flink集群使用yarn per-job提交jar任务
信徒博客
03-27 513
link 1.11开始官方不再维护flink-shaded-hadoop-2-uber jar，可以使用之前版本的shade，社区建议导入hadoop classpath，执行这行代码，不需要改任何东西。这个错误的原因是没有指定入口类的地址，如org.example.job.T4301MesDownline。有一个疑问，当我把flink任务提交给yarn集群进行资源调度管理的时候，因为此时用的是hadoop的yarn的集群，而不是自带的集群！把flink的资源调度管理交给专业的框架yarn框架去做！
怎么在执行Flink任务之前设置了HADOOP_CLASSPATH环境变量或者将Hadoop添加到类路径中
05-28
在执行Flink任务之前设置HADOOP_CLASSPATH环境变量或将Hadoop添加到类路径中可以使用以下两种方式： 1. 设置HADOOP_CLASSPATH环境变量： 在终端中执行以下命令： ``` export HADOOP_CLASSPATH=`hadoop classpath` ``` 该命令将设置HADOOP_CLASSPATH环境变量为当前系统中Hadoop的类路径。 2. 将Hadoop添加到类路径中： 在Flink的启动脚本中添加以下命令： ``` export FLINK_CLASSPATH=$HADOOP_HOME/etc/hadoop:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*:$HADOOP_HOME/share/hadoop/hdfs/*:$HADOOP_HOME/share/hadoop/hdfs/lib/*:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*:$HADOOP_HOME/share/hadoop/yarn/*:$HADOOP_HOME/share/hadoop/yarn/lib/* ``` 该命令将Hadoop的类路径添加到Flink的类路径中。 注意：以上命令中的HADOOP_HOME需要根据您的实际情况进行修改。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值