DataSphereStudio创建工作流时报错No FileSystem for scheme: hdfs问题

DataSphereStudio创建工作流时报错No FileSystem for scheme: hdfs问题

  最近在用微众银行开发的dss工具,但是安装完之后,创建工作流报错No FileSystem for scheme: hdfs。如果你看到这,那说明项目都已经大概熟悉了,这个报错,应该在部署项目中的linkis/linkis-bml报错了,可以通过其中的logs/linkis.out日志看具体错误。
  最开始遇到这个问题,我以为是我安装的服务器上没有hadoophdfs命令,后来试了下不是这个问题。最后好好看看这个报错,才觉得好像代码里缺了FileSystem类,百度一搜,真有了思路。具体解决办法如下:

1.拷贝jar包

  找到这个项目linkis/linkis-bmllib文件夹,从里边下载hadoop-common-x.jar,需要修改它,下载到本地后,通过压缩工具打开,找到如下文件:(我这里是hadoop-common-.3.1.jar)
在这里插入图片描述

2.修改其中的文件

  把这个文件拷贝出来,然后在最后添加下边的内容:

<property>
	<name>fs.hdfs.impl</name>
	<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
	<description>The FileSystem for hdfs: uris.</description>
</property>

  像下图这样,放在最后即可,但一定是<configuration>标签内。
在这里插入图片描述
  修改完之后保存,并拷回jar包里的原位置替换原文件。

4.补充额外包

  从上边看出是多加入了org.apache.hadoop.hdfs.DistributedFileSystem 的引入,也应该保证这个类的存在,报错No FileSystem for scheme: hdfs原因也是因为缺少它。

  但是很不幸,这个类不在hadoop-common-x.jar里,还需要其他的包,网上有人说是在hadoop-hdfs-x.jar里,但是我在3.1版本里的这个包里没有找到这个类,后来我在hadoop-hdfs-client-x.jar包里找到了这个类。所以我们还要多加一个这个包。

  当然,如果你的linkis-bml/lib里已经有这个包了,那就不用管了,如果没有的话,那就需要准备好这个包,然后再上传回原位置。

  最后说下,上边需要上传的两个包为:

hadoop-common-x.jar (已经补充过core-default.xml文件)
hadoop-hdfs-client-x.jar 
5.重启项目

  我这里通过排查错误是在linkis-bml项目里,如果你不是这个项目那就去操作另一个项目,都是一样的结构,重启时先执行linkis-bml/bin/stop-bml.sh,再执行start-bml.sh 脚本即可。

6.创建工作流

  最后再去页面上创建工作流一般就会成功了。
在这里插入图片描述

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茁壮成长的凌大大

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值