Hadoop离线_HDFS的API操作

HDFS的API操作

1 导入jar包

因为我安装的是CDH版的Hadoop，所以在导包时需要指定CDH的服务器上，手动的添加repository去CDH仓库进行下载。
要用CDH的jar包，要先在pom.xml文件中添加一个repository
参考地址：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo.html

<repositories>
    <repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
  </repositories>

再添加所需jar包：
参考地址：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_514x.html

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.6.0-mr1-cdh5.14.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/junit/junit -->
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.11</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.testng</groupId>
        <artifactId>testng</artifactId>
        <version>RELEASE</version>
    </dependency>
</dependencies>
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.0</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
                <encoding>UTF-8</encoding>
                <!--    <verbal>true</verbal>-->
            </configuration>
        </plugin>

        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>2.4.3</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <minimizeJar>true</minimizeJar>
                    </configuration>
                </execution>
            </executions>
        </plugin>
      <!--  <plugin>
            <artifactId>maven-assembly-plugin </artifactId>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
                <archive>
                    <manifest>
                        <mainClass>cn.itcast.hadoop.db.DBToHdfs2</mainClass>
                    </manifest>
                </archive>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>-->
    </plugins>
</build>

2 使用URL的方式访问数据

@Test
    public void getConnection() throws Exception {
        //注册HDFS的URL，让java代码能够识别HDFS的URL形式
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

        String url = "hdfs://node01:8020/test/ttt/xxx.txt";
        //获取输入流
        InputStream inputStream = new URL(url).openStream();

        //获取输出流
        OutputStream outputStream = new FileOutputStream(new File("G:\\test106.txt"));

        IOUtils.copy(inputStream,outputStream);

        //释放资源
        IOUtils.closeQuietly(inputStream);
        IOUtils.closeQuietly(outputStream);

    }

url要与hadoop/etc/hadoop中，core-site.xml文件中的fs.defaultFS配置的url统一

3 获取FileSystem的几种方式

1. 通过FileSystem的get方法获取（get中一个参数）

 /*获取FileSystem1*/
    @Test
    public void getFileSystem1() throws IOException {
        /*
        * FileSystem是一个抽象类，获取抽象类的实例有两种方式
        第一种，看看这个抽象类有没有提供什么方法，返回它本身
        第二种，找子类
        * */

        Configuration configuration = new Configuration();

        //如果这里不加任何配置，这里获取到的就是本地文件系统
        configuration.set("fs.defaultFS","hdfs://node01:8020");
        FileSystem fileSystem = FileSystem.get(configuration);

        System.out.println(fileSystem);
        fileSystem.close();

    }

2. 通过FileSystem的get方法获取（get中两个参数）

/*获取FileSystem2*/
    @Test
    public void getFileSystem2() throws Exception {
        /*
        * FileSystem是一个抽象类，获取抽象类的实例有两种方式
        第一种，看看这个抽象类有没有提供什么方法，返回它本身
        第二种，找子类
        * */

        Configuration configuration = new Configuration();

        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"),configuration);

        System.out.println(fileSystem);
        fileSystem.close();

    }

3. 通过FileSystem的newInstance方法获取（newInstance中一个参数）

/*获取FileSystem3*/
    @Test
    public void getFileSystem3() throws IOException {
        /*
        * FileSystem是一个抽象类，获取抽象类的实例有两种方式
        第一种，看看这个抽象类有没有提供什么方法，返回它本身
        第二种，找子类
        * */

        Configuration configuration = new Configuration();

        //如果这里不加任何配置，这里获取到的就是本地文件系统
        configuration.set("fs.defaultFS","hdfs://node01:8020");
        FileSystem fileSystem = FileSystem.newInstance(configuration);

        System.out.println(fileSystem);
        fileSystem.close();

    }

4. 通过FileSystem的newInstance方法获取（newInstance中两个参数）

 /*获取FileSystem4*/
    @Test
    public void getFileSystem4() throws Exception {
        /*
        * FileSystem是一个抽象类，获取抽象类的实例有两种方式
        第一种，看看这个抽象类有没有提供什么方法，返回它本身
        第二种，找子类
        * */

        Configuration configuration = new Configuration();

        FileSystem fileSystem = FileSystem.newInstance(new URI("hdfs://node01:8020"),configuration);

        System.out.println(fileSystem);
        fileSystem.close();

    }

5. 四种方式的运行结果
   

4 遍历HDFS的所有文件

4.1 通过递归遍历hdfs文件系统

    /*遍历hdfs所有文件*/
    @Test
    public void getAllFile_1() throws Exception {
        //1. 获取HDFS分布式文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"),new Configuration());

        //2. 通过listStatus的方法获取FileStatus，判断是文件还是文件夹
        FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/test"));

        //3. 遍历fileStatuses
        for (FileStatus fileStatus : fileStatuses) {
            if (fileStatus.isDirectory()){
                //文件夹
                Path path = fileStatus.getPath();
                getDirFiles(path,fileSystem);
            }else{
                //文件
                System.out.println(fileStatus.getPath().toString());
            }
        }

    }

    private void getDirFiles(Path path, FileSystem fileSystem) throws Exception {
        //获取fileStatus,判断是文件还是文件夹
        FileStatus[] fileStatuses = fileSystem.listStatus(path);

        //遍历
        for (FileStatus fileStatus : fileStatuses) {
            if(fileStatus.isDirectory()){
                //文件夹
                getDirFiles(fileStatus.getPath(),fileSystem);
            }else{
                //文件
                System.out.println(fileStatus.getPath().toString());
            }
        }
        filesystem.close();


    }
}

4.2 官方提供的API直接遍历

/*遍历hdfs所有文件_2*/
    @Test
    public void getAllFile_2() throws Exception {
        //获取FileSstem文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());

        //通过listFiles()方法获得所有文件或文件夹，第一个参数指定遍历的路径，第二个参数表示是否要递归遍历
        RemoteIterator<LocatedFileStatus> locatedFileStatusRemoteIterator = fileSystem.listFiles(new Path("/test"), true);

        //遍历
        while (locatedFileStatusRemoteIterator.hasNext()){
            LocatedFileStatus next = locatedFileStatusRemoteIterator.next();
            System.out.println(next.getPath().toString());
        }

        fileSystem.close();

    }

5 下载文件到本地

/*下载文件到本地*/
    @Test
    public void downToLocal() throws Exception {
        //获取HDFS文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());

        //使用open()的方式获取输入流
        FSDataInputStream open = fileSystem.open(new Path("/test/ttt/xxx.txt"));

        //获取输入流
        OutputStream outputStream = new FileOutputStream(new File("G:\\test1247.txt"));

        //使用IOUtils传输数据
        IOUtils.copy(open,outputStream);

        IOUtils.closeQuietly(open);
        IOUtils.closeQuietly(outputStream);

        fileSystem.close();

    }

6 在HDFS上创建文件夹

/*在hdfs上创建文件夹*/
    @Test
    public void mkDir() throws Exception {
        //获取HDFS文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());

        //使用mkdirs()方法创建文件
        fileSystem.mkdirs(new Path("/conf/test"));

        fileSystem.close();

    }

7 HDFS文件上传

/*hdfs文件上传*/
    @Test
    public void uploadToHDFS() throws Exception {
        //获取HDFS文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());

        //使用copyFromLocalFile()的方法上传问价到HDFS文件系统
        fileSystem.copyFromLocalFile(new Path("G:\\testfile.txt"),new Path("/test/ttt"));

        //关闭fileSystem
        fileSystem.close();
    }

8 HDFS权限问题以及伪造用户

1. 停止hdfs集群

stop-dfs.sh

已配置全局变量

2. 修改hdfs.site.xml配置文件

<property>
   <name>dfs.permissions</name>
   <value>true</value>
</property>

3. 修改其它机器上的hdfs.site.xml文件，这里只需从node01复制覆盖其它机器即可

scp hdfs-site.xml node02:$PWD
scp hdfs-site.xml node03:$PWD

4. 重启集群

start-dfs.sh

5. 修改hdfs文件系统上的文件权限为600（只有root用户可读可写）

hdfs dfs -chmod 600 /config/core-site.xml  

6. java伪造root用户下载

@Test
    public void getConfig() throws URISyntaxException, IOException, InterruptedException {
        //获取HDFS(第三个参数为伪造的用户)
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration(),"root");
        //下载文件
        fileSystem.copyToLocalFile(new Path("/config/core-site.xml"),new Path("/Users/ZhaoZhuang/Downloads/hello3.txt"));
        //关闭系统
        fileSystem.close();
    }

9 HDFS的小文件合并

9.1 在linux中合并小文件

将hdfs文件系统中/conf文件夹下的所有.xml结尾的文件合并到本地的hello.xml中

cd /export/servers
# 将hdfs中/conf文件夹下的所有.xml结尾的文件合并到hello.xml
hdfs dfs -getmerge /conf/*.xml ./hello.xml

9.2 在java中合并小文件

将本地的多个文件合并到hdfs文件系统中的bigFiles.xml文件中

/*合并小文件*/
    @Test
    public void mergeFiles() throws Exception {
        //获取文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());

        //获取本地文件系统
        LocalFileSystem local = FileSystem.getLocal(new Configuration());

        //hdfs文件系统创建一个文件用于存储小文件,获取输出流
        FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path("/conf/test/bigFiles"));

        //通过本地文件系统获取文件列表，为一个集合
        FileStatus[] fileStatuses = local.listStatus(new Path("G:\\BigData\\6.大数据hadoop离线\\第三天\\3、大数据离线第三天\\上传小文件合并"));

        //使用遍历的方式，将多个文件整合在一起
        for(FileStatus fileStatus : fileStatuses){
            //输入流
            FSDataInputStream inputStream = local.open(fileStatus.getPath());
            //复制IOUtils
            IOUtils.copy(inputStream,fsDataOutputStream);
            //关闭输出流
            IOUtils.closeQuietly(inputStream);

        }
        IOUtils.closeQuietly(fsDataOutputStream);
        fileSystem.close();
        local.close();
    }