如何用JAVA代码操作HDFS

有时候我们不会直接上服务器去操作Hadoop的HDFS，那么下面我就为大家展示一下怎么用JAVA代码操作Hadoop
pom如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.wy</groupId>
    <artifactId>FOBJ</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>7</source>
                    <target>7</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>E:/javajdk/lib/tools.jar</systemPath>
        </dependency>
    </dependencies>
</project>

具体操作起来其实很简单代码如下：

package com.wy;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HDFS {
    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {
        Configuration cfg =new Configuration();
        cfg.set("fs.defaultFS","hdfs://192.168.85.128:9000");

        FileSystem fs=FileSystem.get(new URI("hdfs://192.168.85.128:9000"),cfg,"root");
        fs.mkdirs(new Path("/cds"));
        fs.close();

    }

}

上面这个例子就是一个建立文件夹的例子，其他的操作同理，都是使用FileSystem的对象操作，大家用的时候就会发现方法名就是命令

下面是我和朋友那里要来一个工具类，借鉴了一下，写的一些案例，希望可以帮到大家

package com.wy;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.fs.permission.FsPermission;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HdfsClient {

    //上传一个文件
    public static void putFile() throws IOException, URISyntaxException, InterruptedException {
        //找到配置=》通过HDFS 系统配置去访问
        Configuration conf = new Configuration() ;
        conf.set("fs.defaultFS","hdfs://192.168.40.121:9000" );
        //通过配置去访问, 其中如果跨平台，需要使用root 用户。
        FileSystem fs = FileSystem.get ( new URI("hdfs://192.168.40.121:9000") , conf,"root") ;
        //上传文件
        fs.copyFromLocalFile( new Path("c:/ccc.sql") , new Path("/wy/cc1.sql"));
        //关闭资源
        fs.close();

    }

    /**
     * 判断文件类型
     */
    public static void judgeFiles() throws InterruptedException, IOException, URISyntaxException {

        //获取文件系统
        FileSystem fs =  getFs();
        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));

        for (FileStatus ff:  fileStatuses ) {
            if (ff.isDirectory()){
                System.out.println( "为文件夹" + ff.getPath().getName());
            }
            else {
                System.out.println( "为文件" + ff.getPath().getName());
            }
        }

        fs.close();
    }

    /**
     * 文件的信息详情
     */
    public static void listFileDetail() throws InterruptedException, IOException, URISyntaxException {
        //获取hdfs文件系统
        FileSystem fs  =  getFs() ;
        // 获取到文件信息, 第二个参数
        //通过fs的listFiles方法可以自动实现递归(自带递归)列出文件类型，返回的是一个远程可迭代对象,需要传入两个参数，第一个参数是服务器路径，第二个参数是否递归
        RemoteIterator<LocatedFileStatus> filelist = fs.listFiles(new Path("/"), true);
        while (filelist.hasNext()){
            //循环编列所有的文件，作用和操作数据库的Resultset一样
            LocatedFileStatus nextFile = filelist.next();
            //获取到文件名
            String name = nextFile.getPath().getName();
            // 获取到大小
            long len = nextFile.getLen();
            //获取到权限
            FsPermission permission = nextFile.getPermission();
			//打印
            System.out.println(" 打印每个文件信息：" + name + " 大小 =" + len + " 权限 =" +permission );

			//获取到当前文件的所有数据块的信息
            BlockLocation[] blockLocations = nextFile.getBlockLocations();
			//遍历每个块
            for (int i = 0; i < blockLocations.length ; i++) {
                // 获取到当前块所在机器的域名
                String[] hosts = blockLocations[i].getHosts();
                for (String h: hosts ) {
                    System.out.println("文件名" + name + " 数据块所在服务器域名为 = " + h);
                }

            }

        }
        //关闭资源
        fs.close();

    }

	/**
	* 修改文件名
	*/
    public static void renameFile() throws InterruptedException, IOException, URISyntaxException {
        FileSystem fs =  getFs();
        fs.rename( new Path("/1.txt"), new Path("/2.txt") );
        fs.close();
    }

    /**
     * 删除文件夹/文件
     */
    public static void deleteFold() throws InterruptedException, IOException, URISyntaxException {
        FileSystem fs  =  getFs() ;
        // 第二个参数，是否递归删除，区别如果是一个文件，无所谓，如果是一个文件夹，而且下面还有文件，那么默认的FLASE，不能成功删除数据
        fs.delete(new Path("/wy/test") , true) ;
        fs.close();

    }
	
    /**
     * 拷贝文件到本地
     */
    public static void CopyFromHdfs () throws InterruptedException, IOException, URISyntaxException {
        FileSystem  fs  =  getFs() ;
        /**
		*从服务器下载到本地
		*参数为：
		*copyToLocalFile(是否删除hdfs原数据，要拷贝的文件或路径，拷贝的地址，是否使用RawLocalFileSystem作为本地文件系统)
		*注意第一个false必须写不然常常会报空指针
		*第四个true可以省略
		*/
        fs.copyToLocalFile(false ,new Path("/1.txt") , new Path("c:/wy/1.txt"),true);
        fs.close();

    }

    // 文件上传
    public static void testCopyFromLocalFile() throws InterruptedException, IOException, URISyntaxException {
        // 获取文件系统
        FileSystem fs =  getFs();
        fs.copyFromLocalFile(new Path("c:/ccc.sql"), new Path("/wy/test/wy.txt") );
        fs.close();
    }

    /**
     * 获取文件对象
     * @return
     */
    public static FileSystem getFs() throws URISyntaxException, IOException, InterruptedException {
        org.apache.hadoop.conf.Configuration cg = new org.apache.hadoop.conf.Configuration();
        cg.set("fs.defaultFS","hdfs://192.168.40.121:9000");
		//后面的root是指如果需要用户验证则使用root用户，可以删除
        FileSystem  fileSystem = FileSystem.get( new URI("hdfs://192.168.40.121:9000"), cg,"root") ;
        // 通过文献系统去进行操作
        return  fileSystem ;
    }

    /*
      创建一个文件夹
     */
    public static void mkdirs(String[] args) throws IOException, URISyntaxException, InterruptedException {

        // 创立一个配置文件，这样通过配置获取到文件系统，client 通过文件系统访问namenode
        org.apache.hadoop.conf.Configuration cg = new org.apache.hadoop.conf.Configuration();
        cg.set("fs.defaultFS","hdfs://192.168.40.121:9000");
        FileSystem  fileSystem = FileSystem.get( new URI("hdfs://192.168.40.121:9000"), cg,"root") ;
        // 通过文献系统去进行操作
        fileSystem.mkdirs(new Path("/wy/test")) ;
        fileSystem.close();
    }


}