windows上通过java操作hdfs

windows上通过java操作hdfs

我这里hadoop的版本是3.1.3，下载Hadoop3.1.1

链接：https://pan.baidu.com/s/13U3AET-vbQ0SvITDGHvRYg?pwd=1234
提取码：1234

把它解压到自己记得的目录，路径上最好不要有英文，Windows上应该需要解压2次

我这里解压出来后的完整路径是 G:\dev\hadoop-3.1.3

需要把它配置到环境变量中

在系统变量中新建 名字为 HADOOP_HOME 值为 G:\dev\hadoop-3.1.3 的变量

在系统变量的PATH中加上 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin

下载 winutils.exe 放到 G:\dev\hadoop-3.1.3\bin 目录下

链接：https://pan.baidu.com/s/1dm3J1OfdaJJXmn7lab9LLw?pwd=1234
提取码：1234

下载 hadoop.dll 放到 C:Windows\System32 目录下

链接：https://pan.baidu.com/s/11Dhbg12Yvd9wQl1uyhgJWA?pwd=1234
提取码：1234

在系统变量中新建 名字为 HADOOP_USER_NAME 值为 你hadoop中有权限的用户 的变量

新建项目

使用 idea 新建一个maven项目，在项目的pom.xml文件中加入以下内容

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.da</groupId>
    <artifactId>bigdata</artifactId>
    <version>1.0</version>

    <properties>
        <hadoop-version>3.1.3</hadoop-version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop-version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop-version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop-version}</version>
        </dependency>
    </dependencies>
</project>

在resouces目录下新建log4j.properties文件(不想用我的也可以去网上找其他的log4j配置)

#配置全局日志（日志级别，输出端（R为自定义变量））
log4j.rootLogger=DEBUG,Console,R
#配置控制台输出
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%d [%t] %-5p [%c] - %m%n
#配置日志输出到文件
log4j.appender.R=org.apache.log4j.DailyRollingFileAppender
# D:/log/log.log 日志文件保存的路径
log4j.appender.R.File=D:/log/log.log
log4j.appender.R.Append=true
log4j.appender.R.Threshold=DEBUG
log4j.appender.R.layout=org.apache.log4j.PatternLayout
#log4j.appender.R.layout = org.apache.log4j.HTMLLayout
log4j.appender.R.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n
log4j.appender.R.encoding=UTF-8

查看文件夹下的所有文件

// 创建一个新的Configuration对象，用于配置Hadoop的各种设置和参数。  
Configuration configuration = new Configuration();  
// 使用set方法设置fs.defaultFS参数，这个参数指定了默认的文件系统的URI。这里设置的是HDFS的地址，即"hdfs://da-centos:8020",通过hadoop的core-site.xml文件中配置的fs.defaultFS来 
configuration.set("fs.defaultFS", "hdfs://da-centos:8020");  
// 使用FileSystem类的get静态方法，根据前面配置的Configuration对象，获取一个文件系统的实例。这个实例可以用来执行各种文件系统的操作。  
FileSystem fileSystem = FileSystem.get(configuration);  
// 创建一个Path对象，表示要查询的文件系统路径。这里查询的是"/develop/input"路径下的文件。  
Path path = new Path("/develop/input");  
// 使用FileSystem对象的listStatus方法，列出指定路径下的所有文件的状态信息，这些信息被存储在FileStatus数组中。  
FileStatus[] fileStatuses = fileSystem.listStatus(path);  
// 遍历FileStatus数组，对于数组中的每个元素（即每个文件的状态信息），输出文件的路径、长度和最后修改时间。  
for (FileStatus fileStatus : fileStatuses) {  
    System.out.println(fileStatus.getPath().toString());    // 输出文件的路径  
    System.out.println(fileStatus.getLen());                 // 输出文件的长度  
    System.out.println(fileStatus.getModificationTime());    // 输出文件的最后修改时间  
    System.out.println();                                  
}  
// 使用FileSystem对象的close方法，关闭文件系统连接，释放资源。  
fileSystem.close();

查看文件

// 创建一个URI对象，该URI指向HDFS上的特定文件，即"hdfs://da-centos:8020/develop/input/look.txt"  
URI uri = URI.create("hdfs://da-centos:8020/develop/input/look.txt");  
// 创建一个Configuration对象，该对象包含了Hadoop集群的配置信息  
Configuration configuration = new Configuration();  
// 使用URI和Configuration对象获取一个FileSystem对象，该对象是访问HDFS的入口  
FileSystem fileSystem = FileSystem.get(uri, configuration);  
// 打开一个输入流，该输入流指向HDFS上的特定文件  
InputStream is = fileSystem.open(new Path(uri));  
// 使用IOUtils的copyBytes方法，将输入流的内容复制到标准输出（通常是控制台），复制的字节数为2048，并且不进行缓冲  
IOUtils.copyBytes(is, System.out, 2048, false);  
// 关闭输入流  
IOUtils.closeStream(is);  
// 关闭FileSystem连接  
fileSystem.close();

上传本地文件

// 创建一个指向本地文件的 File 对象，文件路径为 "D:\86181\Desktop\bigdata\log\log.log"  
File localFile = new File("D:\\86181\\Desktop\\bigdata\\log\\log.log");  
// 定义一个字符串，表示HDFS上的文件路径，这里是"hdfs://da-centos/develop/input/log.log"  
String hdfsFile = "hdfs://da-centos/develop/input/log.log";  
// 创建一个BufferedInputStream对象，它是从File对象的路径创建的InputStream对象中获取数据的  
InputStream bis = new BufferedInputStream(Files.newInputStream(localFile.toPath()));  
// 创建一个Configuration对象，这个对象包含了Hadoop的配置信息  
Configuration configuration = new Configuration();  
// 使用URI.create方法将上面的hdfsFile字符串转化为URI对象，并用这个URI对象和configuration对象从Hadoop获取一个FileSystem对象  
FileSystem fileSystem = FileSystem.get(URI.create(hdfsFile), configuration); 
// 计算本地文件的大小，如果文件大小大于65536字节（64KB），则将文件大小除以65536并取整，否则直接取整为1  
final long fileSize = localFile.length() > 65536 ? localFile.length() / 65536 : 1;  
// 在HDFS上创建一个输出流，这个输出流用于将数据写入到HDFS上的指定路径（由hdfsFile指定）
FSDataOutputStream fos = fileSystem.create(new Path(hdfsFile), new Progressable() {  
    long fileCount = 0; // 初始化一个计数器，用于跟踪已经上传的数据量  
    // 这个方法是Progressable接口的方法，用于在数据上传过程中提供进度信息  
    @Override  
    public void progress() {  
        System.out.println("上传了" + (fileCount / fileSize) * 100 + "%"); // 输出上传的百分比  
        fileCount++; // 计数器自增1  
    }  
});  
// 使用IOUtils的copyBytes方法，将BufferedInputStream中的数据复制到FSDataOutputStream中，每次复制2048字节，并且当所有数据都复制完成后，自动关闭输出流  
IOUtils.copyBytes(bis, fos, 2048, true);  
// 关闭FSDataOutputStream  
IOUtils.closeStream(fos);  
// 关闭FileSystem连接  
fileSystem.close();  
// 关闭BufferedInputStream  
bis.close();

删除hdfs上的文件

// 创建一个URI对象，该URI指向HDFS上的特定目录，即"hdfs://da-centos:8020/develop/input"  
URI uri = URI.create("hdfs://da-centos:8020/develop/input");  
// 创建一个Configuration对象，该对象包含了Hadoop集群的配置信息  
Configuration configuration = new Configuration();  
// 使用URI和Configuration对象获取一个FileSystem对象，该对象是访问HDFS的入口  
FileSystem fileSystem = FileSystem.get(uri, configuration);  
// 打印出"原来的文件:"，用于区分不同时间段文件的不同  
System.out.println("原来的文件:");  
// 使用FileSystem对象的listStatus方法，获取指定目录下的所有文件的状态信息，这些信息被存储在FileStatus数组中  
FileStatus[] fileStatuses = fileSystem.listStatus(new Path(uri));  
// 遍历FileStatus数组，打印出HDFS上该目录下所有文件的路径  
for (FileStatus fileStatus : fileStatuses) {  
    System.out.println(fileStatus.getPath().toString());  
}  
// 使用FileSystem对象的delete方法删除特定路径下的文件，这里是删除"hdfs://da-centos:8020/develop/input/log1.log"文件  
fileSystem.delete(new Path("hdfs://da-centos:8020/develop/input/log1.log"), true);  
// 打印出"删除log1.log后的文件:"，用于区分已经删除文件后的文件列表  
System.out.println("删除log1.log后的文件:");  
// 重新获取指定目录下的所有文件的状态信息，因为已经删除了一个文件，所以获取到的文件状态信息会比之前少一个  
FileStatus[] fileStatuses1 = fileSystem.listStatus(new Path(uri));  
// 遍历新的FileStatus数组，打印出删除log1.log文件后剩余文件的路径  
for (FileStatus fileStatus : fileStatuses1) {  
    System.out.println(fileStatus.getPath().toString());  
}  
// 关闭FileSystem连接，释放资源  
fileSystem.close();