HDFS Java API 操作

已于 2022-11-30 20:38:53 修改
阅读量3.5k 收藏 62
点赞数 3
分类专栏： 大数据 文章标签： hadoop hdfs java
于 2022-11-28 10:41:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72168501/article/details/128073048
版权

文章目录

HDFS Java API操作

Hadoop是使用Java语言编写的，因此使用Java API操作Hadoop文件系统，HDFS Shell本质上就是对Java API的应用，通过编程的形式，操作HDFS，其核心是使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作(增，删，改，查)

零、启动hadoop

在这里插入图片描述

一、HDFS常见类接口与方法

1、hdfs 常见类与接口

Hadoop 整合了众多文件系统，HDFS只是这个文件系统的一个实例
在这里插入图片描述

2、FileSystem 的常用方法

FileSystem 对象的一些方法可以对文件进行操作
在这里插入图片描述

二、Java 创建Hadoop项目

1、创建文件夹

现在D盘创建一个空的文件夹，HDFS02用来存放hadoop项目
在这里插入图片描述

2、打开Java IDEA

1) 新建项目

点击左上角，新建项目
在这里插入图片描述

2) 选择Maven

选择Maven包管理，记住一定是jdk1.8版本的，然后那个从archetype 不要选择
在这里插入图片描述
然后点击下一步，位置选择刚刚D盘创建的那个HDFS02文件夹，然后点击完成
在这里插入图片描述

三、配置环境

1、添加相关依赖

创建完成之后，进来是一个pom.xml文件
在这里插入图片描述
添加以下的相关的hadoop和junit依赖配置，其中大部分都是有的，主要是<dependencise></dependencise> 这个部分

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>HDFS02</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>18</maven.compiler.source>
        <maven.compiler.target>18</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
    <!--hadoop客户端-->
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.3.4</version>
        </dependency>
    <!--单元调试框架-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.2</version>
        </dependency>
    </dependencies>
    
</project>

然后右上角有一个m的图标，点击一下，加载配置文件，导入包，这个很关键，不然那些包都用不起
在这里插入图片描述
Manen Repository (Maven仓库) http://mvnrepository.com/
在这里插入图片描述
搜索 hadoop在这里插入图片描述
点击 hadoop-client 超链接，然后点击下面的3.3.4
在这里插入图片描述
就可以看到上面在Java里面配置的hadoop的依赖就是这个地方的
在这里插入图片描述

2、创建日志属性文件

在resources目录里创建log4j.properties文件
在这里插入图片描述
把下面的配置添加进去
在这里插入图片描述

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

四、Java API操作

1、在HDFS上创建文件

在 /ied01 目录里创建hadoop.txt 文件
输入命令：hdfs dfs -mkdir /ied01/hadoop.txt
在这里插入图片描述
在webUI界面进行查看
在这里插入图片描述

2、在Java 上创建包

创建net.aex.hdfs包，在包里创建CreateFileOnHDFS类
在这里插入图片描述

1) 编写create1()方法

注意导入包的时候一定不要导错了，有些很相似
在这里插入图片描述

package net.aex.hdfs;

import org.apache.hadoop.conf.Configuration;
import java.net.URI;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
//下面这两个是错的
//import java.nio.file.FileSystem;
//import java.nio.file.Path;


public class CreateFileOnHDFS {
    public static void create1() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf);
        //创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        //基于路径对象创建文件
        boolean result = fs.createNewFile(path);
        //根据返回值判断文件是否创建成功
        if(result){
            System.out.println("文件[" + path + "创建成功]");
        }else{
            System.out.println("文件[" + path + "创建失败]");
        }
    }

    public static void main(String[] args) throws Exception{
        create1();
    }
}

下面使用main方法 对CreateFileOnHDFS 函数方法进行调用
在这里插入图片描述
运行程序查看结果，创建失败，因为我们之前已经在linux本地 hdfs上创建了这个文件
在这里插入图片描述
此时将这个创建的文件路径改为 /ied02/hadoop02.txt 就成功了
在这里插入图片描述
在webUI界面上进行查看
在这里插入图片描述
注意：在/ied01 目录里确实创建了一个0字节的hadoop02.txt文件，有点类似于Hadoop shell 里执行 hdfs dfs -touchz /ied01/hadoop02.txt 但是在linux上面重复执行不会失败，只是会不断改变这个文件的时间戳，但是在Java API里面操作，如果重复执行就会失败

2) 编写create2() 方法

编写create2() 方法，事先判断文件是否已经存在

//create2
    public static void create2() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf);
        //创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        //判断路径对象指定的文件是否已经存在
        if(fs.exists(path)){
            //提示用户文件已经存在
            System.out.println("文件["+path+"]已经存在！");
        }else {
            //基于路径对象创建文件
            boolean result = fs.createNewFile(path);
            //根据返回值判断文件是否已经创建成功
            if (result){
                System.out.println("文件[" + path + "创建成功!");
            }else{
                System.out.println("文件[" + path + "创建失败!");
            }
        }
    }

使用main方法调用create2() 函数方法，查看程序运行结果，提示文件已经存在
在这里插入图片描述
此时我们怎么才能出现文件创建失败的情况呢，我们故意让HDFS进入安全模式(只能读，不能写)
在linux上删除已经创建的/ied01/hadoop02.txt 文件
输入命令： hdfs dfs -rm /ied01/hadoop02.txt
在这里插入图片描述
输入命令：hdfs dfsadmin safemode enter 进入安全模式
在这里插入图片描述
此时，再运行程序，抛出SafeModelException 异常
在这里插入图片描述
修改程序，来处理这个可能会抛出的安全模式异常
使用try catch 来抛出捕获异常
在这里插入图片描述
运行程序，查看结果
在这里插入图片描述
linux 输入命令：hdfs dfsadmin -safemode leave 关闭安全模式
在这里插入图片描述
再运行程序，查看结果 创建成功
在这里插入图片描述

3、在HDFS上写入文件

在net.aex.hdfs 包里创建WriteFileOnHDFS 类
在这里插入图片描述

1) 将数据直接写入HDFS文件

在linux本地 hdfs /ied01目录创建hello.txt文件
在这里插入图片描述

（1）编写write1() 方法

在Java 里创建 write1() 函数方法

package net.aex.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.nio.charset.StandardCharsets;

public class WriteFileOnHDFS {
    public static void write1() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf);
        //创建路径对象
        Path path = new Path(uri + "/ied01/hello.txt");
        //创建文件系统数据字节输出流
        FSDataOutputStream out = fs.create(path);
        //通过字节输出流向文件写入数据
        out.write("Hello hadoop world".getBytes());
        //关闭输出流
        out.close();
        //关闭文件系统对象
        fs.close();
    }

    public static void main(String[] args) throws Exception{
        write1();
    }
}

运行程序，查看结果，报错，没有数据节点可以写入数据
在这里插入图片描述
修改代码，添加一个 设置数据节点主机名属性
在这里插入图片描述
运行1程序，查看结果
在这里插入图片描述
在webUI界面上查看hello.txt 文件
在这里插入图片描述

2) 将本地文件写入HDFS文件

在Java项目根目录创建一个文本文件test.txt
在这里插入图片描述

(1)、编写witer2() 方法

在Java WriteFileOnHDFS类里面创建 write2函数方法
在这里插入图片描述

//write2
    public static void write2() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname","true");
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf,"root");
        //创建路径对象
        Path path = new Path(uri + "/ied01/exam.txt");
        //创建文件系统数据字节输出流对象
        FSDataOutputStream out = fs.create(path);
        //创建文字字符输入流对象
        FileReader fr = new FileReader("test.txt");
        //创建缓冲字符输入流对象
        BufferedReader br = new BufferedReader(fr);
        //定义行字符串
        String nextLine = "";
        //通过循环读取缓冲字符输入流
        while ((nextLine=br.readLine()) != null){
            //在控制台输出读取的行
            System.out.println(nextLine);
            //通过文件系统数据字节输出流对象写入指定文件
            out.write(nextLine.getBytes());
        }
        //关闭文件系统字节输出流
        out.close();
        //关闭缓冲字符输入流
        br.close();
        //关闭文件字符输入流
        fr.close();
        //提示用户写入文件成功
        System.out.println("本地文件[test.txt]成功写入[" + path + "]!");
    }

main函数调用write2() 方法，查看结果 写入成功
在这里插入图片描述
其实这个方法的功能就是将本地文件复制(上传)到HDFS，有更简单的处理方法，通过使用一个工具类IOUtils来完成文件的相关操作

(2)、编写write2_2() 方法

在这里插入图片描述

//write2_2()
    public static void write2_2() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname","true");
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf,"root");
        //创建路径对象
        Path path = new Path(uri + "/ied01/test.txt");
        //创建文件系统数据字节输出流对象
        FSDataOutputStream out = fs.create(path);
        //创建文字字符输入流对象
        FileInputStream in = new FileInputStream("test");
        //利用IOUtils类提供的字节拷贝方法来复制文件
        IOUtils.copyBytes(in,out,conf);
        //关闭文件字节输入流
        in.close();
        //关闭文件系统字节输入流
        out.close();
        //关闭文件系统
        fs.close();
        //提示用户写入文件成功
        System.out.println("本地文件[test.txt]成功写入[" + path + "]!");
    }

使用main方法，运行write2_2() 函数方法 查看结果 写入成功
在这里插入图片描述
在linux查看hdfs 目录 /ied01/test.txt内容
在这里插入图片描述

4、读取HDFS文件

相当于Shell里的两个命令：hdfs dfs -cat 和 hdfs dfs -get
在net.aex.hdfs包里创建ReadFileOnHDFS类

1) 读取HDFS文件直接在控制台显示

准备读取 /ied01/test.txt 文件
在这里插入图片描述

(1) 编写read1() 方法

在这里插入图片描述

package net.aex.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.InputStreamReader;
import java.net.URI;

public class ReadFileOnHDFS {
    public static void read1() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname","true");
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf,"root");
        //创建路径对象(指向目录或文件)
        Path path = new Path(uri + "/ied01/test.txt");
        //创建文件系统数据字节输入流对象
        FSDataInputStream in = fs.open(path);
        //创建缓冲字符输入流对象,提高读取效率(字节流-->字符流-->缓冲流)
        BufferedReader br = new BufferedReader(new InputStreamReader(in));
        //定义行字符串
        String nextLine = "";
        // 通过循环读取缓冲字符输入流
        while ((nextLine=br.readLine())!=null){
            //在控制台输出读取的行内容
            System.out.println(nextLine);
        }
        //关闭缓冲字符输入流
        br.close();
        //关闭文件系统数据字节输入流
        in.close();
        //关闭文件系统
        fs.close();
    }

    public static void main(String[] args) throws Exception{
        read1();
    }
}

使用main方法调用 read1() 函数方法 查看结果 将/ied01/test.txt里的文件读取出来了
在这里插入图片描述
其实我们可以使用IOUtils类来简化代码，创建read_()函数方法
在这里插入图片描述

 //read1_2()
    public static void read1_2() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname","true");
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf,"root");
        //创建路径对象(指向目录或文件)
        Path path = new Path(uri + "/ied01/test.txt");
        //创建文件系统数据字节输入流对象
        FSDataInputStream in = fs.open(path);
        //读取文件在控制台显示
        IOUtils.copyBytes(in,System.out,4096,false);
        //关闭文件系统数据字节输入流
        in.close();
        //关闭文件系统
        fs.close();
    }

使用main方法，调用read1_2() 函数方法 查看结果
在这里插入图片描述

2) 读取HDFS文件，保存为本地文件

任务：将/ied01/test.txt 下载到项目下download目录里

(1) 创建read2()方法
//read2()
    public static void read2() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname","true");
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf,"root");
        //创建路径对象(指向目录或文件)
        Path path = new Path(uri + "/ied01/test.txt");
        //创建文件系统数据字节输入流对象
        FSDataInputStream in = fs.open(path);
        //创建文件字节输出流
        FileOutputStream out = new FileOutputStream("D:\\HDFS02\\.idea\\download\\exam.txt");
        //读取HDFS文件(靠输入流)，写入本地文件(靠输出流)
        IOUtils.copyBytes(in,out,conf);
        //关闭文件系统数据字节输入流
        in.close();
        //关闭文件字节输出流
        in.close();
        //关闭文件系统
        fs.close();
        //提示用户文件下载成功
        System.out.println("文件["+path+"]下载到本地文件[download/exam.txt]!");

    }

使用main方法，调用read2()函数，查看结果 exam.txt 文件已经下载到本地的download目录下了
在这里插入图片描述

5、重命名目录或文件

1) 重命名目录

任务：将/ied01 目录更名为 /lzy01

(1) 编写renameDir() 方法

在这里插入图片描述

package net.aex.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class RenameDirOnFile {
    public static void renameDir() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname","true");
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf);
        //创建源路径对象
        Path sourcePath = new Path("/ied01");
        //创建目标路径对象
        Path targePath = new Path("/lzy01");
        //利用文件系统对象重命名目录
        fs.rename(sourcePath,targePath);
        //关闭文件系统
        fs.close();
        //提示用户目录更名成功
        System.out.println("目录["+sourcePath.getName()+"]更名为目录[" + targePath.getName() + "]!");
    }

    public static void main(String[] args) throws Exception{
        renameDir();
    }
}

使用main方法调用renameDir()函数，查看结果 成功从/ied01 改为 lzy01
在这里插入图片描述
在webUI界面进行查看
在这里插入图片描述

2) 重命名文件

任务：将/lzy01目录下的hello.txt重名为hi.txt
在这里插入图片描述

（1）编写renameFile() 方法

主要需要两个对象的路径然后通过文件系统.rename()方法，把两个文件路径放进去进行更改

 public static void renameFile() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf);
        //创建源路径对象
        Path sourcePath = new Path("/lzy01/hello.txt");//目标对象
        //创建目标路径对象(指向文件)
        Path targePath = new Path("/lzy01/hi.txt");
        //利用文件系统重命名文件
        fs.rename(sourcePath,targePath);
        //关闭文件系统
        fs.close();
        //提示用户更更名成功
        System.out.println("文件[" + sourcePath.getName() + "]更名文件[" + targePath.getName() + "]!");
    }

使用main方法调用renameFile()方法，查看结果 更名成功
在这里插入图片描述
在这里插入图片描述

6、显示文件列表

在net.aex.hdfs 包里创建ListHDFSFiles类

1) 显示指定目录下文件全部信息

任务：显示/lzy01 目录下的文件列表
在这里插入图片描述

(1)、编写list1() 方法
package net.aex.hdfs;

import jdk.jshell.execution.LoaderDelegate;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

import java.net.URI;

public class ListHDFSFile {
    public static void list1() throws Exception{
        //设置配置对象
        Configuration conf = new Configuration();
        //设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname","true");
        //定义统一资源标识符 (uri: uniform resource identifer)
        String uri = "hdfs://master:9000";
        //创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri),conf,"root");
        //创建远程迭代器对象，泛型是位置文件状态类(相当于`hdfs dfs -ls -R /lzy01`)
        RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"),true);
        //遍历远程迭代器
        while (ri.hasNext()){
            System.out.println(ri.next());

        }

    }

    public static void main(String[] args) throws Exception{
        list1();

    }
}

使用main 方法，调用list1() 方法 查看结果 这些hdfs /lzy01 目录下的文件都读取出来了
在这里插入图片描述上述文件状态对象封装的有关信息，可以通过相应的方法来获取，比如getPath() 方法就可以获取路径信息，getLen()方法就可以获取文件长度信息

2) 显示指定目录下文件路径和长度信息
(1) 编写list2() 方法
//list2()
    public static void list2() throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hosename","true");
        //定义uri字符串
        String uri = "hdfs://master:9000";
        //创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri),conf,"root");
        //创建远程迭代器对象，泛型是位置文件状态类(相当于`hdfs dfs -ls -R /lzy01`)
        RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"),true);
        //遍历远程迭代器
        while (ri.hasNext()){
            LocatedFileStatus lfs = ri.next();
            System.out.println(lfs.getPath() + "" + lfs.getLen() +  "字节");
        }
    }

使用main方法调用list2() 方法，查看结果 /lzy01目录下的文件的字节都显示出来了
在这里插入图片描述

7、获取文件块信息

任务：获取/lzy01/hadoop-3.3.4.tar.gz文件块信息在这里插入图片描述
hadoop压缩包会分割成6个文件块
在这里插入图片描述
在net.aex.hdfs包里创建GetBlockLocations类

气质&末雨
关注
  • 3
    点赞
  • 踩
  • 62
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
4.4 使用Java API操作HDFS
m0_73693938的博客
12-02 952
在/ied01目录里确实创建了一个0字节的hadoop.txt文件，有点类似于Hadoop Shell里执行hdfs dfs -touchz /ied01/hadoop.txt命令的效果，但是有一点不同，hdfs dfs -touchz命令重复执行，不会失败，只是不断改变该文件的时间戳。// 删除路径对象指向的目录或文件。System.out.println(type + "[" + path + "]删除成功！System.out.println(type + "[" + path + "]删除失败！
使用java API 操作
m0_63560941的博客
11-28 1141
了解HDFS Java API掌握使用Java API操作HDFS
Hadoop大数据技术-java操作hdfs
m0_74394367的博客
03-13 733
使用JavaApi对hdfs中的文件进行了创建、删除、上传、下载、读取、追加以及列出目录下的文件的基本操作
16 Java API操作HDFS
最新发布
lydia88的专栏
04-08 595
参数的优先级：1.客户端的代码中 > 2.ClassPath下自定义的文件> 3.服务器中自定义的（集群中）我们在windows平台下，使用Java代码作为客户端访问HDFS，对他进行相关的操作。hadoop集群中默认的副本是3，接下来代码中设置副本数为2，执行以下代码，看看最终副本数是多少？2.在pom.xml文件中添加依赖（注意：初次使用需要连接外网，需要下载对应的依赖文件）4.目前直接使用单元测试进行操作，我们源代码文件直接创建在test/java/目录下。6.实现文件上传，设置创建的副本数。
大数据学习：使用Java API操作HDFS
X_Serendipity的博客
11-30 2117
创建、读取、写入
使用Java API操作HDFS
m0_73832851的博客
11-02 3291
使用Java API操作HDFS的实验原理如下：配置Hadoop环境：首先需要配置Hadoop的环境，包括设置Hadoop的安装路径、配置core-site.xml和hdfs-site.xml等文件，以便Java程序能够连接到HDFS。引入Hadoop依赖：在Java项目中，需要引入Hadoop的相关依赖，包括hadoop-common、hadoop-hdfs等依赖，以便能够使用Hadoop提供的API。
HDFS的Java API操作
bx1215的博客
04-03 534
winutils： 适用于Hadoop版本的Windows二进制文件，这些是直接从用于创建官方ASF版本的相同git提交构建的;它们被检出并构建在Windows VM上，该VM专用于在Windows上测试Hadoop / YARN应用程序。件 >（3）然后是服务器的自定义配置（xxx-site.xml）>（4）服务器的默认配置（xxx-default.xml）参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath 下的用户自定义配置文。(点击蓝色字体跳转)
JAVA API操作HDFS
progammer10086的博客
04-11 165
【代码】JAVA API操作HDFS。
02--HDFS Java API操作.docx
03-18
HDFS Java API 操作 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大量数据。Java API 是 HDFS 的一个编程接口，允许开发者使用 Java 语言来操作 HDFS 中的文件和目录。本文将介绍...
使用Java Api操作HDFS过程详解
08-25
使用Java API 操作 HDFS 过程详解 Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问和操作 Hadoop 分布式文件系统（HDFS）。本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例...
ecplise远程连接hadoop--hdfs java api操作文件.pdf
04-19
ecplise远程连接hadoop--hdfs java api操作文件.pdf
HDFS两种操作方式：命令行和Java API
01-07
HDFS 文件操作有两种方式：一种是命令行方式，Hadoop 提供了一套与 Linux 文件命令类似的命令行工具；另一种是 Java API，即利用 Hadoop 的 Java 库，采用编程的方式操作 HDFS 的文件。 本节将介绍 Linux 操作系统中关于 HDFS 文件操作的常用命令行，并将介绍利用 Hadoop 提供的 Java API 进行基本的文件操作，以及利用 Web 界面查看和管理 HDFS 的方法。 HDFS 常用命令 在 Linux 命令行终端，可以使用命令行工具对 HDFS 进行操作。使用这些命令行可以完成 HDFS 文件的上传、下载和复制，还可以查看文件信息、格式化
java操作Hadoop源码之HDFS Java API操作-上传文件
01-17
java操作Hadoop源码之HDFS Java API操作-上传文件，附带所需全部jar包，欢迎下载学习。
java操作Hadoop源码之HDFS Java API操作-创建目录
01-17
java操作Hadoop源码之HDFS Java API操作-创建目录，附带所需全部jar包，欢迎下载学习。
HDFS Java api 简单程序.zip
01-10
HDFS Java api 简单程序.zip
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
大数据技术基础实验报告-调用Java API实现HDFS操作
使用IDEA工具通过Java API 访问HDFS
Python_XTyyds的博客
12-17 1382
使用IDEA工具通过Java API 访问HDFS
大数据 | Java 操作 HDFS 常用 API
码农UP2U
11-25 2261
目录 一、回顾常用的命令 二、引入依赖 三、文件列表 四、创建目录 五、文件的创建 六、文件内容的输出 七、删除文件 八、读取文件/目录的元数据 九、上传本地文件到 HDFS 十、下载 HDFS 文件到本地 十一、总结 上篇文章介绍了关于 HDFS 的常用命令，其常用的命令都有相应的 API，用命令可以完成的功能，使用 Java API 也可以完成。本文介绍关于 HDFS 常用的 Java API。 一、回顾常用的命令 在上篇文章中整...
HDFS JAVA API（Hadoop3.0）
qq_46055426的博客
05-20 530
1.HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，为了实现本地与HDFS的文件传输，主要借助Eclipse开发环境，通过java编程实现了远程HDFS的文件创建，上传，下载，删除等。在my.hdfs包下，新建类PutMerge，程序功能是将Linux本地文件夹/data/hadoop4/下的所有文件，上传到HDFS上并合并成一个文件/hdfstest/mergefile。
hdfs的javaAPI操作
04-24
HDFS的Java API操作可以通过创建Hadoop Configuration对象来实现。可以使用以下代码来创建Configuration对象： ```java Configuration config = new Configuration(); config.set("fs.defaultFS", "hdfs://<namenode-hostname>:<port>"); ``` 其中，fs.defaultFS是HDFS的URI，需要替换为实际的URI。然后，使用FileSystem对象来操作HDFS文件系统。以下是一些常用的HDFS Java API操作： 1. 创建目录： ```java FileSystem hdfs = FileSystem.get(config); Path directory = new Path("/path/to/directory"); boolean success = hdfs.mkdirs(directory); ``` 2. 创建文件： ```java FSDataOutputStream out = hdfs.create(new Path("/path/to/file")); ``` 3. 写入数据到文件： ```java byte[] data = "Hello World".getBytes(); out.write(data); ``` 4. 读取文件内容： ```java FSDataInputStream in = hdfs.open(new Path("/path/to/file")); byte[] buffer = new byte[1024]; int bytesRead = in.read(buffer); String content = new String(buffer, 0, bytesRead); ``` 5. 删除文件或目录： ```java boolean success = hdfs.delete(new Path("/path/to/file"), false); ``` 以上是一些常用的HDFS Java API操作，可以根据实际需要进行扩展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值