云计算技术实验四 HDFS操作方法和基础编程

stearm210

已于 2023-03-15 11:33:01 修改

阅读量1.3k

点赞数 1

分类专栏：云计算文章标签： hdfs 云计算大数据

于 2022-12-21 22:41:03 首次发布

本文链接：https://blog.csdn.net/m0_53227534/article/details/128402934

版权

云计算专栏收录该内容

10 篇文章 6 订阅

订阅专栏

参考资料为：

教材代码-林子雨编著《大数据基础编程、实验和案例教程（第2版）》教材所有章节代码_厦大数据库实验室博客

1.实验学时

4学时

2.实验目的

熟悉HDFS的基本shell命令
熟悉HDFS的web管理
掌握HDFS编程实践

3.实验内容

（一）参考实验指南的内容，完成相关的HDFS的基本shell命令。

先启动hadoop:

输入命令查看hdfs dfs支持的操作：

查看具体命令的作用：

先新建文件夹：

运行命令显示HDFS与当前用户对应目录下的内容：

创建input目录：

删除input文件：

创建一个xml文件

复制文件到生成的input文件之中：

查看HDFS中txt文件的内容：

将txt文件移动到其他文件夹下：

后面查看：

（二）查看HDFS的网页管理界面。请描述网页界面中的各个参数的名称。

查看HDFS网页管理界面：

（三）完成eclipse的安装，在eclipse中创建项目，配置所需要的jar包，编写一个可以和HDFS相交互的Java应用程序。

安装完成之后进入：

进行对应包的调用之后，开始编写函数：下面为java代码

import java.io.IOException;
import java.io.PrintStream;
import java.net.URI;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
 
/**
 * 过滤掉文件名满足特定条件的文件 
 */
class MyPathFilter implements PathFilter {
     String reg = null; 
     MyPathFilter(String reg) {
          this.reg = reg;
     }
     public boolean accept(Path path) {
        if (!(path.toString().matches(reg)))
            return true;
        return false;
    }
}
/***
 * 利用FSDataOutputStream和FSDataInputStream合并HDFS中的文件
 */
public class MergeFile {
    Path inputPath = null; //待合并的文件所在的目录的路径
    Path outputPath = null; //输出文件的路径
    public MergeFile(String input, String output) {
        this.inputPath = new Path(input);
        this.outputPath = new Path(output);
    }
    public void doMerge() throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://localhost:9000");
          conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create(inputPath.toString()), conf);
        FileSystem fsDst = FileSystem.get(URI.create(outputPath.toString()), conf);
                //下面过滤掉输入目录中后缀为.abc的文件
        FileStatus[] sourceStatus = fsSource.listStatus(inputPath,
                new MyPathFilter(".*\\.abc")); 
        FSDataOutputStream fsdos = fsDst.create(outputPath);
        PrintStream ps = new PrintStream(System.out);
        //下面分别读取过滤之后的每个文件的内容，并输出到同一个文件中
        for (FileStatus sta : sourceStatus) {
            //下面打印后缀不为.abc的文件的路径、文件大小
            System.out.print("路径：" + sta.getPath() + "    文件大小：" + sta.getLen()
                    + "   权限：" + sta.getPermission() + "   内容：");
            FSDataInputStream fsdis = fsSource.open(sta.getPath());
            byte[] data = new byte[1024];
            int read = -1;
 
            while ((read = fsdis.read(data)) > 0) {
                ps.write(data, 0, read);
                fsdos.write(data, 0, read);
            }
            fsdis.close();          
        }
        ps.close();
        fsdos.close();
    }
    public static void main(String[] args) throws IOException {
        MergeFile merge = new MergeFile(
                "hdfs://localhost:9000/user/hadoop/",
                "hdfs://localhost:9000/user/hadoop/merge.txt");
        merge.doMerge();
    }
}