关于Flink访问HDFS出现 Hadoop is not in the classpath/dependencies 的问题

最新推荐文章于 2022-05-19 17:04:47 发布
最新推荐文章于 2022-05-19 17:04:47 发布
阅读量5.3k 收藏 7
点赞数 2
文章标签： hadoop flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45052199/article/details/123616470
版权
本文针对使用Flink 1.12.0访问HDFS时遇到的Hadoop不在类路径依赖问题进行解答。在尝试了网上的旧版解决方案无效后，提供了适用于Hadoop 3.x.x的解决方案。通过引入flink-shaded-hadoop-3-uber-3.1.1.7.2.1.0-327-9.0.jar和commons-cli-1.4.jar两个jar包到Flink的bin目录，并重启Flink集群，可以成功解决该问题。
摘要由CSDN通过智能技术生成

有不少小白（其实我也是）学习Flink的时候访问HDFS出现了找不到Hadoop依赖的问题，

网上类似于这种问题的解答要么是时间久远，要么是没有类似的环境的解决方案。网上的大多解决方案是针对hadoop2.7左右的版本

这里给大家提供一个解决这个问题的路子。
我的Flink版本是1.12.0. Hadoop版本是3.x.x。

也就是形如 如下的这种问题，真的很困扰人。

 Hadoop is not in the classpath/dependencies

问题就出现在这里，由于找不到hadoop依赖或者classpath导致无法解析hdfs的地址在这里插入图片描述
我的解决方案是给你的Flink打入两个jar包，（也就是放到Flink的bin目录中），
在这里插入图片描述
flink-shaded-hadoop-3-uber-3.1.1.7.2.1.0-327-9.0.jar
commons-cli-1.4.jar

然后关掉Flink集群
再开启Flink集群

[zwq
最低0.47元/天 解锁文章
dsauifaiu
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
【Flink】Flink 操作HDFS报错 hadoop is not in the classpath/dependencies
九师兄
06-29 2171
1.背景 写了一个FLink程序，用来设置RocksDb，然后报错 @Test public void flatMapStateBackendTest1() throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】 e.
org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Hadoop is not in the classpath/depende
zhengzaifeidelushang的博客
11-16 1232
Flink Standalone HA启动报错 一、错误汇总 Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies. Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system imp
Flink 报错 Hadoop is not in the classpath/dependencies.
ChengYanan的博客
02-24 1504
D:\bigData\jdk\jdk1.8.0_271\bin\java.exe "-javaagent:D:\bigData\idea\2018.3\IntelliJ IDEA 2018.3.6\lib\idea_rt.jar=2566:D:\bigData\idea\2018.3\IntelliJ IDEA 2018.3.6\bin" -Dfile.encoding=UTF-8 -classpath D:\bigData\jdk\jdk1.8.0_271\jre\lib\charsets.jar;D:\
org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/depend
MCY的博客
02-23 2739
Flink应用提交到集群报错 org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies. 产生上述问题是在Flink中操作了HDFS文件系统（比如checkpoint到HDFS） 但是缺少配置导致的 解决方法: 1.环境变量加入以下配置（别忘...
intellij中运行后出现Hadoop is not in the classpath/dependencies
微电子学与固体电子学-俞驰
09-27 2618
intellij中运行check point的时候碰到了一个比较棘手的问题 Hadoop is not in the classpath/dependencies 版本: 组件 版本号 Flink 1.12 Ubuntu 20.04 网上通用的办法是在$FLINK_HOME/lib加入一个jar包，我的版本是flink-shaded-hadoop-3-uber-3.1.1.7.0.3.0-79-7.0.jar 我的办法是在intellij的pom.xml中加入下面.
Flink启动报错UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.
热门推荐
cenjianteng的博客
10-20 1万+
2019-09-03 22:20:38,162 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Shutting StandaloneSessionClusterEntrypoint down with application status FAILED. Diagnostics java.io.IOEx...
UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.
AiBigData的博客
04-30 3888
flink程序在idea上运行正常，打成jar包上传服务器运行，各种报错。下面这个错误印象最为深刻 Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme ‘hdfs’. The scheme i...
Hadoop is not in the classpath/dependencies. The extended set of supported File Systems via Hadoop i
微电子学与固体电子学-俞驰
06-06 2242
2020-06-06 16:01:08,671 INFO org.apache.flink.core.fs.FileSystem - Hadoop is not in the classpath/dependencies. The extended set of supported File Systems via Hadoop is not available. 2020-06-06 16:01:08,706 INFO org.apache.flin...
Linux集群端口被占用|Flink识别不出HDFS路径
芜湖
05-19 460
Linux 端口被占用 问题:Hadoop集群端口被占用导致无法启动NameNode和DataNode 解决办法： 查看端口占用情况 netstat -anp |grep 8888 //查看8888端口的占用情况 上图即端口8888被进程4110所占用 kill掉占用的进程 Flink识别不出HDFS路径 问题：Hadoop is not in the classpath/dependencies. 解决办法 需要将 flink-shaded-hadoop-3-uber-3.1.1.7.
flink项目namenode启动失败：Journal storage directory /tmp/hadoop/dfs/journalnode/hadoopha not formatted
DRD
04-06 1508
在测试flink的HA时，把某个节点（部署了jobmanager和namenode）的节点reboot了，然后启动时发现namenode没有起来，报错大概如下： org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /tmp/hadoop/dfs/journalnode/xxxx not formatted at org.apache.hadoop.hdfs.qjou
FLINK HADOOP_CLASSPATH设置，集成hadoop
qq_33358554的博客
12-09 1万+
HADOOP_CLASSPATH未设置 初次尝试在etc/profile 中添加 export HADOOP_CLASSPATH=`hadoop classpath` 并source，发现没有起效 再次尝试在flink/bin/start-cluster.sh中添加 export HADOOP_CLASSPATH=`hadoop classpath` 即生效 运行flink run时也存在相同问题 衍生： 配置此环境变量后，不用在lib中添加hadoop，hive等相关jar包，自动获取当前环.
关于 Flink1.11.1 找不到 Hadoop Native库解决方法
SuCicada 小米的蝉
12-15 506
可以试试在 flink 的 conf/flink-conf.yaml 配置文件中加入配置如下 其中的native库的具体路径换成你自己的。 yarn.application-master.env.LD_LIBRARY_PATH: /opt/cloudera/parcels/CDH/lib/hadoop/lib/native:$LD_LIBRARY_PATH yarn.taskmanager.env.LD_LIBRARY_PATH: /opt/cloudera/parcels/CDH/lib/hadoop/l
flink针对hadoop 3.x的支持及集成方式
penriver的博客
04-25 5417
hadoop版本的支持 Flink自1.11.0 版本开始，已经支持了hadoop 3.x，具体来讲就是将 HADOOP_CLASSPATH 配置成运行机器上的hadoop3 相关jar包即可 YARN上的Flink是针对Hadoop 2.4.1编译的，支持所有的Hadoop版本>= 2.4.1，包括Hadoop 3.x。 与hadoop集成 参见：https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deplo
【FLINK】 No Executor found. Please make sure to export the HADOOP_CLASSPATH
Zsigner的博客
12-10 1万+
背景： 为了更好的使用flink sql&table，系统决定从flink 从1.10 升级到 1.11，然后在测试flink example的命令时出现了这个bug （不懂怎么安装的直接参考官网链接：https://ci.apache.org/projects/flink/flink-docs-release-1.11/try-flink/local_installation.html） java.lang.IllegalStateException: No Executor found.
flink启动错误Executor found. Please make sure to export the HADOOP_CLASSPATH environment
m0_67144365的博客
05-11 1220
The program finished with the following exception: java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment &am
Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded
最新发布
07-13
This error message indicates that Flink is unable to find a file system implementation for the 'hdfs' scheme. Flink does not natively support Hadoop Distributed File System (HDFS), so you need to configure it to work with HDFS. To resolve this issue, you can follow these steps: 1. Make sure you have the Hadoop libraries installed on your Flink cluster. 2. Update the Flink configuration file (`flink-conf.yaml`) and add the following properties: ``` fs.hdfs.hadoopconf: /path/to/hadoop/conf fs.hdfs.hadoop.user: hdfs ``` Replace `/path/to/hadoop/conf` with the actual path to your Hadoop configuration directory. Replace `hdfs` with the Hadoop user you want to use (e.g., `hadoop`). 3. Restart your Flink cluster for the changes to take effect. By configuring Flink with the appropriate Hadoop libraries and settings, it should be able to load the Hadoop file system implementation for the 'hdfs' scheme and work with HDFS.
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值