Hadoop No FileSystem for scheme “hdfs“ 客户端环境变量配置

我当前的/etc/profile文件配置的环境变量

 

export JAVA_HOME=/opt/java/jdk1.8.0_131
export SPARK_HOME=/opt/spark-2.4.4-bin-hadoop2.7
export HIVE_HOME=/usr/hdp/current/hive-client
export LIVY_HOME=/opt/livy/livy-0.5.0-incubating-bin
export HBASE_HOME=/opt/hbase-2.2.1
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/opt/hadoop-2.7.7
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_USER_NAME=hdfs
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/go/bin
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$LIVY_HOME/bin:$PATH

当配置完环境变量于是我准备开始测试一下,于是遇到了如下报错
hadoop fs -ls / 查看hdfs文件

Hadoop No FileSystem for scheme

#执行hadoop classpath 命令会显示当前hadoop都引入了那些jar包

Hadoop No FileSystem for scheme

解决方法如下
libexec/hadoop-config.sh 这个文件里最后一行

添加CLASSPATH=${CLASSPATH}:'/opt/hadoop-2.7.7/client/*

再次查看hadoop fs -ls /

Hadoop No FileSystem for scheme
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 这个错误提示意思是:HDFS 没有文件系统。 HDFSHadoop 分布式文件系统的缩写,它是 Hadoop 生态系统中的一个重要组成部分,用于存储和管理大规模数据。如果出现“no filesystem for scheme hdfs”错误,可能是由于以下原因: 1. HDFS 服务未启动或未正常运行; 2. Hadoop 配置文件中的 HDFS 配置有误; 3. Hadoop 集群中的节点之间无法正常通信。 需要根据具体情况进行排查和解决。 ### 回答2: “No filesystem for scheme hdfs” 意为“找不到 hdfs 文件系统”。这个错误一般出现在使用 Hadoop 文件系统时,在执行某些操作时无法找到 hdfs 文件系统。在 Hadoop 中,hdfs 是文件系统,与其他文件系统不一样,因此有些操作需要特别处理。 这个错误一般有以下几种可能的原因: 1. 没有正确配置 Hadoop:当配置文件中没有正确设置 Hadoop 的参数,无法正常连接到 hdfs 文件系统,就会出现这个错误。 2. 没有正确启动 Hadoop:如果 Hadoop 没有正确启动,就无法连接到 hdfs 文件系统,就会出现这个错误。 3. 访问权限不足:当用户没有访问 hdfs 文件系统的权限时,就无法连接到 hdfs 文件系统,就会出现这个错误。 4. hdfs 服务故障:如果 hdfs 服务出现故障,就会导致无法连接到 hdfs 文件系统,就会出现这个错误。 解决这个错误的方法有以下几个: 1. 检查配置文件:确认配置文件中 Hadoop 的参数是否正确,确保文件系统路径和访问端口等参数正确。 2. 检查 Hadoop 运行状态:确认 Hadoop 是否正确启动,且 hdfs 服务是否正常运行。 3. 确认访问权限:确认当前用户对于访问 hdfs 文件系统是否有足够的权限。 4. 检查 hdfs 服务:确认 hdfs 服务是否正常运行,是否存在故障。 总的来说,解决这个错误需要通过多方面的方法确定其原因,从而选择合适的解决方案。同时要确保 Hadoop 的版本和 hdfs 的版本匹配,也要保证运行环境的正确性,以确保可以正确连接到 hdfs 文件系统,从而执行各种操作。 ### 回答3: "No filesystem for scheme hdfs"是指Hadoop分布式文件系统(HDFS)未能找到可用的文件系统。HDFS是一种分布式文件系统,通常用于在大数据环境中存储和处理海量数据。它可以在多个计算机节点之间分配数据并进行并行处理。 当Hadoop集群试图读取或写入文件时,如果系统无法找到hdfs文件系统,就会出现此错误。这个问题通常与以下几个方面有关: 1. Hadoop配置文件:可能存在配置问题,导致Hadoop无法识别hdfs文件系统,或者尝试访问不存在的文件路径。 2. 网络连接:集群环境中节点之间的网络连接可能出现问题,导致无法访问hdfs文件系统。 3. 权限问题:用户可能需要适当的权限才能访问HDFS文件系统。 要解决这个问题,可以按以下步骤进行操作: 1. 检查Hadoop配置文件,确保hdfs文件系统正确配置并且文件路径正确。 2. 检查网络连接,确保所有节点之间的连接都正常。 3. 检查HDFS文件权限,确保已经给予适当的权限才能访问HDFS文件系统。 4. 重启Hadoop集群,以确保所有更改都已经生效。 总之,“No filesystem for scheme hdfs”是指HDFS文件系统无法找到可用文件系统。通过检查配置文件,网络连接和权限等方面,可以解决这个问题。当然,更可以调整代码的逻辑,将不正确的代码逐步更正或注释掉等方式来解决错误。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cloud孙文波

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值