HDFS shell命令的使用，HDFS Web管理页面的查看使用以及HDFS Java API的练习使用。

# 1、目标

    通过练习掌握，HDFS常用的Shell命令以及HDFS的常用Java Api调用。

# 2、内容：

    主要包括HDFS shell命令的使用，HDFS Web管理页面的查看使用以及HDFS Java API的练习使用。

## 2.1 HDFS shell命令的使用   

 查看hdfs相关shell命令

    hdfs dfs

    hdfs dfs -help put #查看具体某个命令的使用方法

    创建用户目录

        cd /usr/local/hadoop

        hdfs dfs -mkdir -p /user/hadoop

    查看目录

        hdfs dfs -ls /

    本地文件系统文件上传至HDFS中

        hdfs dfs -put /本地文件系统文件的存储路径 /hdfs中某目录

    HDFS中的文件下载到本地

        hdfs dfs -get /hdfs某目录中的某文件 /本地文件系统存储路径

    HDFS中的文件从一个目录下复制到另个HDFS文件目录下

        hdfs dfs -cp /hdfs某目录下文件 /hdfs另一目录文件

## 2.2 HDFS Web页面的使用

    master:9780

## 2.3 HDFS Java API调用

    http:hadoop.apache.org/docs/stable/api/ 提供了完整的Hadoop API文档

    准备：

    eclipse下载安装/或者vs code；

    右键项目，选择build path 选择 Configure build path  选择Libraries 选择bbbbb    classpath 右侧add external jars

    添加HDFS相关jar包：

        /usr/local/hadoop/share/hadoop/common 目录下的所有jar包，注意不包括子级目录中的jar包；

        /usr/local/hadoop/share/hadoop/common/lib 目录下所有的jar包；

        /usr/local/hadoop/share/hadoop/hdfs 目录下的所有jar包，注意不包括子级目录中的jar包；

        /usr/local/hadoop/share/hadoop/hdfs/lib目录下所有jar包；

### 2.3.1 HDFS文件查找

```   

 import org.apache.hadoop.conf.Configuration;

    import org.apache.hadoop.fs.FileSystem;

    import org.apache.hadoop.fs.Path;




    public class HDFSFileIfExist {

        public static void main(String[] args){

            try{

                String fileName = "10.txt";

                Configuration conf = new Configuration();

                conf.set("fs.defaultFS", "hdfs://master:9000"); //core-site.xml中

                conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

                FileSystem fs = FileSystem.get(conf);

    //            System.out.println(fs.getHomeDirectory());

    //            fs.create(new Path("/user/hadoop/3334.txt"));

                Path path = new Path(fileName);

                System.out.println(path.toString());

                if(fs.exists(path)){

                    System.out.println("文件存在");

                }else{

                    System.out.println("文件不存在");

                }



            }catch (Exception e){

                e.printStackTrace();

            }

        }

    }

```

    默认的查找方法：fs.exits(path) 会默认在用户目录下查找 即 /user/hadoop

### 2.3.2 HDFS文件融合

    整体流程：

        创建文件过滤器；

        HDFS的初始化过程；

        获取指定目录下过滤后的文件信息；

        读取文件信息，并将内容输出到同一个文件内；

 

    正则表达式：

    表达式 .* 就是单个字符匹配任意次，即贪婪匹配。

```

import java.io.IOException;

import java.io.PrintStream;

import java.net.URI;



import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.*;



/**

 * 过滤掉文件名满足特定条件的文件

 */

class MyPathFilter implements PathFilter {

     String reg = null;

     MyPathFilter(String reg) {

          this.reg = reg;

     }

     @Override

     public boolean accept(Path path) {

        if (!(path.toString().matches(reg)))

            return true;

        return false;

    }

}

/***

 * 利用FSDataOutputStream和FSDataInputStream合并HDFS中的文件

 */

public class MergeFile {

    Path inputPath = null; //待合并的文件所在的目录的路径

    Path outputPath = null; //输出文件的路径

    public MergeFile(String input, String output) {

        this.inputPath = new Path(input);

        this.outputPath = new Path(output);

    }

    public void doMerge() throws IOException {

        Configuration conf = new Configuration();

        conf.set("fs.defaultFS","hdfs://master:9000");

        conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");

        FileSystem fsSource = FileSystem.get(URI.create(inputPath.toString()), conf);

        FileSystem fsDst = FileSystem.get(URI.create(outputPath.toString()), conf);

               

        //下面过滤掉输入目录中后缀为.abc的文件

        FileStatus[] sourceStatus = fsSource.listStatus(inputPath,

                new MyPathFilter(".*\\.txt"));

        FSDataOutputStream fsdos = fsDst.create(outputPath);

        PrintStream ps = new PrintStream(System.out);

        //下面分别读取过滤之后的每个文件的内容，并输出到同一个文件中

        for (FileStatus sta : sourceStatus) {

            //下面打印后缀不为.abc的文件的路径、文件大小

            System.out.print("路径：" + sta.getPath() + "    文件大小：" + sta.getLen()

                    + "   权限：" + sta.getPermission() + "   内容：");

            FSDataInputStream fsdis = fsSource.open(sta.getPath());

            byte[] data = new byte[1024];

            int read = -1;



            while ((read = fsdis.read(data)) > 0) {

                ps.write(data, 0, read);

                fsdos.write(data, 0, read);

            }

            fsdis.close();          

        }

        ps.close();

        fsdos.close();

    }

    public static void main(String[] args) throws IOException {

        MergeFile merge = new MergeFile(

                "hdfs://master:9000/user/hadoop/",

                "hdfs://master:9000/user/hadoop/merge.txt");

        merge.doMerge();

    }

}

```