代码操作hdfs

首先准备jar包，如果是想编写关于操作hdfs的代码需要引入hadoop/share目录下的包

/root/training/hadoop-3.1.2/share/hadoop/common/*.jar

/root/training/hadoop-3.1.2/share/hadoop/common/lib/*.jar

/root/training/hadoop-3.1.2/share/hadoop/hdfs/*.jar

/root/training/hadoop-3.1.2/share/hadoop/hdfs/lib/*.jar

当把这些包全部的复制到工程里边可能有重复的，重复让他覆盖掉就可以了

往hdfs创建一个文件：

如果没有没有关闭hdfs的权限的话，默认值检查权限的，如果我们使用客户端创建文件夹就会报关于权限的问题

package hdfs.day0320;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

public class HdfsMkdir
{
    /**
     * 操作权限问题解决办法
     * 1、
     * @throws Exception
     */
    @Test
    public void testmkdir1()throws Exception {
        //System.setProperties("");
        //配置NameNode的地址
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://bigdata111:9000");
        //获取hdfs的客户端
        FileSystem client=FileSystem.get(conf);
        client.mkdirs(new Path("/folder2"));
        client.close();
    }
}

如果我们没有把权限功能关掉的话就会报如下错误：

org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x
 这句报错的意思是，访问控制异常：权限拒绝：用户是Adminstrator,在hdfs根据录下使用写权限，但是这个目录是权限是drwxr-xr-x

我们这个用户为什么是Administration，这个是因为我们在Windows系统上执行的程序，它的用户名就是Administrator，如果

是在linux系统执行这个程序可能就不会报错了，但是解决这个问题我们有如下方法：

第一、告诉他我们是root用户，修改环境变量HADOOP_USER_NAME=root，System.setProperty("HADOOP_USER_NAME","root");

@Test
    public void testmkdir2()throws Exception {
        System.setProperty("HADOOP_USER_NAME","root");
        //配置NameNode的地址
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://bigdata111:9000");
        //获取hdfs的客户端
        FileSystem client=FileSystem.get(conf);
        client.mkdirs(new Path("/folder2"));
        client.close();
    }

第二、在使用测试JUnit程序的时候，配置一下-D参数,其实这种不实用

第三、使用chmode修改一下你要添加文件的目录权限就可以了，这个也不可取

第四、修改一下配置文件

hdfs上传文件：

有了上边的权限我们就可以使用hdfs客户端随便上传文件了

测试代码:

package hdfs.day0320;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.util.Collection;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockStoragePolicySpi;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FsStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;

public class HdfsUpload
{
    @Test
    public void hdfsUpload() throws IOException {
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://bigdata111:9000");
        FileSystem client=FileSystem.get(conf);
        //创建一个输入流
        InputStream input=new FileInputStream("G:\\jar\\dom4j-1.6.1.jar");
        //创建一个输出流
        OutputStream outputStream = client.create(new Path("/tools/dom4j-1.6.1.jar"));
//        开始写流
        int len=0;
        byte[] buffer=new byte[1024];
        while ((len=input.read(buffer))>0)
        {
            outputStream.write(buffer, 0, len);
        }
        //关闭输入流
        input.close();
        //关闭输出流
        outputStream.close();
        //关闭客户端
        client.close();
    }
    //简化流的输出操作
    @Test
    public void hdfsUpload2() throws IOException {
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://bigdata111:9000");
        FileSystem client=FileSystem.get(conf);
        //创建一个输入流
        InputStream input=new FileInputStream("G:\\jar\\dom4j-1.6.1.jar");
        //创建一个输出流
        OutputStream outputStream = client.create(new Path("/tools/b-1.6.1.jar"));
//        开始写流
        IOUtils.copyBytes(input, outputStream, 1024);
        //关闭输入流
        input.close();
        //关闭输出流
        outputStream.close();
        //关闭客户端
        client.close();
    }
    //测试向全分布环境中上传文件
        @Test
        public void hdfsUpload3() throws IOException {
            Configuration conf=new Configuration();
            conf.set("fs.defaultFS", "hdfs://bigdata112:9000");
            FileSystem client=FileSystem.get(conf);
            String scheme = client.getScheme();
            System.out.println("****scheme:"+scheme);
            //创建一个输入流
            InputStream input=new FileInputStream("G:\\jar\\dom4j-1.6.1.jar");
            //创建一个输出流
            OutputStream outputStream = client.create(new Path("/tools/c-1.6.1.jar"));
//            开始写流
            IOUtils.copyBytes(input, outputStream, 1024);
            //关闭输入流
            input.close();
            //关闭输出流
            outputStream.close();
            //关闭客户端
            client.close();
        }
}
测试文件下载

package hdfs.day0320;

import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;

public class HdfsDownload
{
    @Test
    public void testdownload()throws Exception {
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://bigdata111:9000");
        FileSystem client=FileSystem.get(conf);
        //从hdfs中构造一个输入流
        InputStream inputStream=client.open(new Path("/tools/a-1.6.1.jar"));
        //为本地输出构造一个输出流
        OutputStream outputStream=new FileOutputStream("G:\\jar\\d-1.6.1.jar");
        //copy输入流到输出流中
        IOUtils.copyBytes(inputStream, outputStream, 1024);
        //关断输入流
        inputStream.close();
        //关断输出流
        outputStream.close();
        //关断客户端
        client.close();
    }
}