用Java API实现HDFS操作（三）问题汇总

最新推荐文章于 2023-04-01 10:32:26 发布

思想在拧紧

最新推荐文章于 2023-04-01 10:32:26 发布

阅读量2.1k

点赞数 1

分类专栏： # hadoop 文章标签： hdfs java hadoop

本文链接：https://blog.csdn.net/what_how_why2020/article/details/121148409

版权

hadoop 专栏收录该内容

19 篇文章 1 订阅

订阅专栏

说明：整理博主用Java API实现HDFS操作时遇到的问题

问题

为搭建分布式操作环境–在ubuntu16中安装IDEA2021、tomcat9.0、hadoop2.7，建议分配磁盘空间30G及以上，内存分配3G（物理内存共8G）

未启动hadoop

报错：Exception in thread "main" java.net.ConnectException: Call From ubuntu16/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: 拒绝连接;
原因：未启动Hadoop
解决方法：

首先确保hadoop相应进程是否开启，通过jps查看是否有namenode进程
然后通过netstat -nltp|grep 9000查看9000端口是否处于监听状态
接着通过telnet 远程的主机名 9000查看是否连接成功，如果提示Connection refused则进行第4步
通过sudo service iptables status查看防火墙是否开启，如果开启则通过sudo service iptables stop(此命令立即生效，但机器重启后又会恢复，如果想永久关闭（开启）防火墙，可以通过sudo chkconfig iptables off（on）命令)，将其关闭（大部分是由于开启了防火墙导致的）

‘Configuration’ is abstract; cannot be instantiated

原因：Configuration导包错误
解决方法：在上传文件到hadoop时，Configuration应该导入import org.apache.hadoop.conf.Configuration

路径错误

public class WriteFile{
    public static void main(String[] args) throws IOException, URISyntaxException {

        FileSystem hdfs = FileSystem.get(new URI("hdfs//localhost:9000"), new Configuration());

        String filePath = "/hdfstest/writefile";

        // FSDataOutputStream
        FSDataOutputStream create = hdfs.create(new Path(filePath));
        System.out.println("Step 1 Finish!");

        String sayHi = "hello world hello data!";
        byte[] buff = sayHi.getBytes();
        create.write(buff, 0, buff.length);

        create.close();

        System.out.println("Step 2 Finish!");
	}
}

上述代码运行后报错：Exception in thread "main" java.io.IOException: Mkdirs failed to create /hdfstest (exists=false, cwd=file:/usr/local/java/project)

原因：FileSystem.get(Configuration conf) 使用配置文件来获取文件系统，配置文件conf/core-site.xml，若没有指定参数uri或参数uri指向的不是hdfs文件系统，则返回local file system
解决方法：注意new URI("hdfs://localhost:9000")

文件的绝对路径（自根目录），需再前加：/

$pwd # /aaa
$cd /data # /data
$cd data #/app/data

文件权限问题

下载文件到本地文件系统，报错文件权限不够。
假设文件为：/data/hadoop/copytolocal
解决方法：chomd -R 777 /data/hadoop/copytolocal或chomd -R a+w /data/hadoop/copytolocal

运行成功但有警告

WARN util.NativeCodeLoader (NativeCodeLoader.java:<clinit>(62)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

可能的原因：系统不兼容hadoop包
解决方法：仅是warn，不影响hadoop的运行，可不解决
java - Hadoop “Unable to load native-hadoop library for your platform” warning - Stack Overflow
How To Compile Apache Hadoop On Ubuntu Linux (ercoppa.org)

参考文章：
9000 failed on connection exception: java.net.ConnectException: 拒绝连接_分享专栏一一一每天进步一点点-CSDN博客