文件存储 HDFS3

最新推荐文章于 2024-08-29 07:58:17 发布
最新推荐文章于 2024-08-29 07:58:17 发布
阅读量195 收藏
点赞数 2
分类专栏： 介绍 笔记 文章标签： Java 新星计划 hdfs 运维 阿里云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43647037/article/details/117885646
版权

文件存储 HDFS

阿里云文件存储HDFS（Apsara File Storage for HDFS）是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统 (Hadoop Distributed File System) 中管理和访问数据。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 文件存储HDFS适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。
文件存储HDFS的使用流程如下图所示：

在这里插入图片描述

创建文件系统：创建文件存储HDFS文件系统实例，配置相关参数。
创建权限组：创建权限组，配置相关参数。
创建权限组规则：创建权限组规则，配置访问类型、授权地址、优先级等。
添加挂载点：为文件存储HDFS添加挂载点，供ECS等计算资源挂载文件系统使用。
挂载文件系统：通过添加的挂载点挂载文件存储HDFS文件系统 。
准备工作
已完成文件存储HDFS的配置，详情请参见快速入门。
已安装SDK，详情请参见安装。
在计算节点上安装JDK，版本不能低于1.8。
在计算节点上安装hadoop，版本建议不低于2.7.2。
配置maven的依赖配置。

    <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.2</version>
            <!--hadoop版本建议不低于 2.7.2 -->
    </dependency>

创建目录
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleMkDir {

    public static void main(String[] args) throws IOException {

        if (args.length != 1) {
            System.out.println("本类为创建目录示例类，需要传入一个要创建目录路径的参数。\n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleMkDir /tmp/hdfs_test");
            System.exit(-1);
        }

        String fileName = args[0];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);
        //在文件存储hdfs上创建目录
        boolean mkdirsSuccess = hadoopFS.mkdirs(new Path(fileName));

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

        System.out.println("创建是否成功：" + mkdirsSuccess);
        System.out.println("用户可以使用hadoop命令查看创建的目录，例如 ：hadoop fs -ls  " + fileName);
    }
}

运行示例
如果创建成功，则执行hadoop fs -ls /tmp/hdfs_test命令无返回值。否则会报错No such file or directory。
在这里插入图片描述

移动或者重命名
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleRename {

    public static void main(String[] args) throws IOException {

        if (args.length != 2) {
            System.out.println("本类为移动或者重命名示例类，需要传入两个的路径参数。第一个为需要移动或重命名的路径，第二个为移动或重命名后的路径 \n" +
                    "例如： hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleRename /tmp/hdfs_test  /tmp/hdfs_test2");
            System.exit(-1);
        }

        String fileName = args[0];
        String fileRename = args[1];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");


        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

         if (hadoopFS.exists(new Path(fileName))) {
            System.out.println("文件存储hdfs上不存在" + fileName);
        }

        boolean renameSuccess = hadoopFS.rename(new Path(fileName), new Path(fileRename));
        System.out.println("改名是否成功" + renameSuccess);
        System.out.println("用户可以使用hadoop命令查看移动或者重命名后文件，例如 ：hadoop fs -ls  " + fileRename);

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

        System.out.println("改名是否成功"+renameSuccess);
        System.out.println("用户可以使用hadoop命令查看移动或者重命名后文件，例如 ：hadoop fs -ls  " + fileRename);
    }
}

运行示例
重命名
如果重命名成功，则执行hadoop fs -ls /tmp/hdfs_test2命令无返回值。否则会报错No such file or directory。

在这里插入图片描述

重命名运行示例
移动
如果移动成功，则执行hadoop fs -ls /tmp/hdfs_test2命令，可以看到/tmp/hdfs_test2目录下有内容。

在这里插入图片描述

移动运行示例
删除目录
请求

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleDelete {

    public static void main(String[] args) throws IOException {

        if (args.length != 1) {
            System.out.println("本类为删除示例类，需要传入一个要删除的路径。\n" +
                    "例如： hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleDelete /dfs_test2 ");
            System.exit(-1);
        }

        String fileName = args[0];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        if (hadoopFS.exists(new Path(fileName))) {
            boolean deleteSuccess = hadoopFS.delete(new Path(fileName), true);
            System.out.println("删除是否成功:" + deleteSuccess);
            System.out.println("用户可以使用hadoop命令查看是否存在删除的目录，例如 ：hadoop fs -ls  " + fileName);

        } else {
            System.out.println("hdfs文件系统上不存在文件：" + fileName);
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

    }
}

运行示例
如果删除成功，则执行 hadoop fs -ls /tmp/hdfs_test2命令将返回ls: `/tmp/hdfs_test2’: No such file or directory。

在这里插入图片描述

删除运行示例
上传文件
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleUp {

    public static void main(String[] args) throws IOException {

        if (args.length != 2) {
            System.out.println("本类为上传文件(将本地文件上传到hdfs上)示例类，需要传入两个的路径。第一个为需要上传的本地文件路径，第二个为上传到hdfs上的文件路径 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleUp /root/test_local.txt  /tmp/test_hdfs.txt ");
            System.exit(-1);
        }

        String localFilename = args[0];
        String fileName = args[1];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        if (!hadoopFS.exists(new Path(fileName))) {
            hadoopFS.copyFromLocalFile(new Path(localFilename), new Path(fileName));
            System.out.println("上传是否成功" + hadoopFS.exists(new Path(fileName)));
            System.out.println("用户可以使用hadoop命令查看上传的文件，例如 ：hadoop fs -ls  " + fileName);
        } else {
            System.out.println("上传失败，在文件存储hdfs上已经存在该文件");
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

    }
}

运行示例
如果上传成功，则执行hadoop fs -ls /tmp/test_hdfs.txt命令可以在文件存储HDFS上看到该文件。

在这里插入图片描述
上传文件

下载文件
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.File;
import java.io.IOException;

public class exampleDown {
    public static void main(String[] args) throws IOException {

        if (args.length != 2) {
            System.out.println("本类为下载文件(将hdfs上的文件下载到本地)示例类，需要传入两个的路径。第一个为需要下载的hdfs文件路径，第二个为下载到本地的路径 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleDown /tmp/test_hdfs.txt  ./test_hdfs.txt ");
            System.exit(-1);
        }

        String fileName = args[0];
        String localFilename = args[1];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);
        if (!new File(localFilename).exists()) {
            hadoopFS.copyToLocalFile(new Path(fileName), new Path(localFilename));
            System.out.println("下载是否成功" + new File(localFilename).exists());
            System.out.println("用户可以在本地目录" + localFilename + "下看到下载到的文件。");
        } else {
            System.out.println("下载失败，在本地已经存在该文件");
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

    }
}

运行示例
如果下载成功，可以在本地看到该文件。

在这里插入图片描述

下载文件

显示目录
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleLs {

    public static void main(String[] args) throws IOException {

        if (args.length != 1) {
            System.out.println("本类为查看文件存储hdfs上目录信息示例类，需要传入一个要查看的路径。 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleLs / ");
            System.exit(-1);
        }

        String fileName = args[0];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        FileStatus[] fileStatuses = hadoopFS.listStatus(new Path(fileName));
        for (FileStatus file : fileStatuses) {
            System.out.print(file.getPermission() + "\t");
            System.out.print(file.getOwner() + "\t");
            System.out.print(file.getGroup() + "\t");
            System.out.print(file.getAccessTime() + "\t");
            System.out.print(file.getPath() + "\n");
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();
        System.out.println("\n\n用户可以使用hadoop命令查看文件存储hdfs "+ fileName +" 目录下的内容，例如 ：hadoop fs -ls " + fileName);
    }
}
运行示例
如果该方法运行成功，则执行hadoop fs -ls /命令的返回结果和exampleLs返回结果大致相同。

显示目录
写入文件
示例
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.BufferedInputStream;
import java.io.ByteArrayInputStream;
import java.io.IOException;
import java.io.InputStream;

public class exampleWrite {

    public static void main(String[] args) throws IOException {

        if (args.length != 2) {
            System.out.println("本类为写入hdfs文件系统上的文件示例类，需要传入两个的参数。第一个为的hdfs文件上一个写入文件的路径，第二个为写入文件中的内容 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleWrite  /tmp/test_write.txt 测试输入到hdfs上的文件的内容 ");
            System.exit(-1);
        }

        String filename = args[0];
        String msg = args[1] + "\n";

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);
        //创建文件流
        InputStream in = new BufferedInputStream(new ByteArrayInputStream(msg.getBytes("UTF-8")));

        //在hdfs上创建一个测试文件
        FSDataOutputStream out = hadoopFS.create(new Path(filename), true);
        //利用IOUtils.copyBytes进行写入
        IOUtils.copyBytes(in, out, 1024 * 8, true);
        System.out.println("已经写入hdfs文件系统上的" + filename + "文件");
        System.out.println("用户可以使用hadoop命令查看写入文件的内容 ：hadoop fs -cat  " + filename);

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

    }
}

运行示例
若该方法运行成功，则执行hadoop fs -cat /tmp/test_write.txt命令的返回结果和exampleWrite写入该文件的内容相同。

在这里插入图片描述

读取文件

示例
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.IOException;
import java.io.OutputStream;

public class exampleRead {
    public static void main(String[] args) throws IOException {

        if (args.length != 1) {
            System.out.println("本类为读取hdfs文件系统上的文件示例类，需要传入一个文件存储hdfs上的文件路径的参数。 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleRead /tmp/test_write.txt");
            System.exit(-1);
        }

        String filename = args[0];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        if (hadoopFS.exists(new Path(filename))) {
            //创建文件流
            FSDataInputStream in = hadoopFS.open(new Path(filename));
            OutputStream out = System.out;

            IOUtils.copyBytes(in, out, 1024 * 8, );

            System.out.println("\n 用户可以使用hadoop命令查看文件的内容 ，例如：hadoop fs -cat  " + filename);
        } else {
            System.out.println("hdfs文件系统上不存在文件：" + filename);
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();
    }
}

运行示例
如果该方法运行成功，则执行hadoop fs -cat /tmp/test_write.txt命令的返回结果和exampleRead打印的内容相同。

在这里插入图片描述

整体测试
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;

import java.io.*;

public class exampleAll {

    public static void main(String[] args) throws Exception {

        System.out.println("该测试类是包含本测试包中的所有API测试\n\n");

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        System.out.println("在文件存储hdfs上创建目录/hdfs_mkdirTest");
        System.out.println("创建是否成功：" + hadoopFS.mkdirs(new Path("/hdfs_mkdirTest")) + "\n");
        Thread.sleep(2 * 1000);

        System.out.println("在文件存储hdfs上修改目录/hdfs_mkdirTest 为 /hdfs_renameTest ");
        System.out.println("改名是否成功: " + hadoopFS.rename(new Path("/hdfs_mkdirTest"), new Path("/hdfs_renameTest")) + "\n");
        Thread.sleep(2 * 1000);

        System.out.println("在文件存储hdfs上删除目录 /hdfs_renameTest ");
        System.out.println("删除是否成功: " + hadoopFS.delete(new Path("/hdfs_renameTest"), true) + "\n");
        Thread.sleep(2 * 1000);

        new File("./hdfs_upTest.txt").delete();
        new File("./hdfs_downTest.txt").delete();

        new File("./hdfs_upTest.txt").createNewFile();
        System.out.println("向文件存储hdfs的/hdfs_Test中，上传本地文件 ./hdfs_upTest.txt ");
        hadoopFS.mkdirs(new Path("/hdfs_Test"));
        hadoopFS.copyFromLocalFile(new Path("./hdfs_upTest.txt"), new Path("/hdfs_Test/hdfs_upTest.txt"));
        System.out.println("上传是否成功: " + hadoopFS.exists(new Path("/hdfs_Test/hdfs_upTest.txt")) + "\n");
        Thread.sleep(2 * 1000);

        System.out.println("从文件存储hdfs的/hdfs_Test中，下载文件hdfs_upTest.txt到当前目录 ");
        hadoopFS.copyToLocalFile(new Path("/hdfs_Test/hdfs_upTest.txt"), new Path("./hdfs_downTest.txt"));
        System.out.println("下载是否成功: " + new File("./hdfs_downTest.txt").exists() + "\n");
        Thread.sleep(2 * 1000);


        System.out.println("向文件存储hdfs上的/hdfs_Test/hdfs_writeTest.txt文件中写入测试内容");
        InputStream win = new BufferedInputStream(new ByteArrayInputStream(("测试写入文件存储hdfs 1 \n" +
                "测试写入文件存储hdfs 2 \n" +
                "测试写入文件存储hdfs 3 \n").getBytes("UTF-8")));
        FSDataOutputStream wout = hadoopFS.create(new Path("/hdfs_Test/hdfs_writeTest.txt"), true);
        IOUtils.copyBytes(win, wout, 1024 * 8, true);
        System.out.println("已经写入到/hdfs_Test/hdfs_writeTest.txt文件\n");

        Thread.sleep(2 * 1000);

        System.out.println("从文件存储hdfs上的/hdfs_Test/hdfs_writeTest.txt文件中读取之前写入的内容");
        FSDataInputStream rin = hadoopFS.open(new Path("/hdfs_Test/hdfs_writeTest.txt"));
        OutputStream rout = System.out;
        System.out.println("/hdfs_Test/hdfs_writeTest.txt文件中的內容为：");
        IOUtils.copyBytes(rin, rout, 1024 * 8, false);
        System.out.println();


        System.out.println("查看文件存储hdfs上 /hdfs_Test 目录 ");
        FileStatus[] fileStatuses = hadoopFS.listStatus(new Path("/hdfs_Test"));
        for (FileStatus file : fileStatuses) {
            System.out.print(file.getPermission() + "\t");
            System.out.print(file.getOwner() + "\t");
            System.out.print(file.getGroup() + "\t");
            System.out.print(file.getPath() + "\n");
        }
        System.out.println();
        System.out.println("测试完毕！");

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();
        rout.close();
        rin.close();

    }
}

运行示例整体测试
在这里插入图片描述

阿里云官方文档

小东子李
关注
专栏目录
java 保存文件到hdfs_文件保存到HDFS
weixin_35712571的博客
03-07 970
上面两种方式单节点和伪分布式，文件都是保存到了本地，生产中更多的还是保存到hadoop的hdfs中，这篇介绍如何更改保存位置。#### 修改hbase-site.xml~~~sudo vim /opt/hbase-2.0.0/conf/hbase-site.xml~~~找到hbase.rootdir，路径输入hdfs对应路径注意几点：1 hdfs://开头，表示保存到hdfs中2 如果是本地可以是...
阿里云 专有云企业版 V3.8.1 文件存储HDFS 用户指南 20190910
04-07
知识点3：文件存储HDFS概述 * 阿里云文件存储HDFS是一种基于分布式文件系统的存储解决方案。 * 文件存储HDFS提供了高性能、可扩展、可靠的数据存储服务。 知识点4：快速入门 * 用户可以通过按Ctrl + A选中全部...
本地文件上传到HDFS
04-14
Hadoop HDFS的FileSystemAPI操作文件 将准备好的文件上传到hdfs的user/hadoop/music文件下
文件存储 HDFS中SDK示例
qq_43647037的博客
05-27 961
文件存储 HDFS中SDK示例 本文列出了创建目录、删除目录、上传文件、下载文件、显示目录、写入文件，读取文件、测试等操作的SDK示例，您可以参考示例工程开发您的应用。 准备工作 已完成文件存储HDFS的配置 已安装SDK 在计算节点上安装JDK，版本不能低于1.8。 在计算节点上安装hadoop，版本建议不低于2.7.2。 配置maven的依赖配置。 <dependency> <groupId>org.apache.hadoop</groupI
探索HDFS的新途径：hdfs3项目深入解读
最新发布
gitblog_00222的博客
08-29 774
探索HDFS的新途径：hdfs3项目深入解读 hdfs3A wrapper for libhdfs3 to interact with HDFS from Python项目地址:https://gitcode.com/gh_mirrors/hd/hdfs3 在大数据处理的广阔天地里，Hadoop文件系统（HDFS）作为基石，扮演着至关重要的角色。而对于Python开发者来说，如何高效地与HDFS...
大数据基础之hdfs3
weixin_33881753的博客
02-19 175
1、hdfs的副本的配置 修改hdfs-site.xml文件 <!-- 注释配置数据块的冗余度，默认是3 --> <property> <name>dfs.replication</name> <value>1</value> </property> <!--注释配置HDFS的权限检查，默认...
大数据小白系列——HDFS(3)
weixin_34087301的博客
12-20 172
这里是大数据小白系列，这是本系列的第三篇，介绍HDFS中NameNode选举，JournalNode等概念。 上一期我们说到了为解决NameNode(下称NN)单点失败问题，HDFS中使用了双NN的机制，一个Active NN，一个Standby NN。   现实常常是，解决一个问题的同时，免不了又引入了另外的问题。 谁来担任Active，谁来担任Standby？ 两个NN谁也说服不了谁...
HDFS文件系统的基础理论,HDFS工作者和管理者的分配,HDFS文件存储容量的理解
热门推荐
11-05 1万+
1.HDFS的文件系统介绍 HDFS是Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。 HDFS使用Master和Slave结构对集群进行管理。 一般一个 HDFS 集群只有一个Namenode 和一定数目的Datanode 组成。 Namenode 是 HDFS 集群主节点...
第3章-分布式文件系统HDFS.pdf
02-24
FsImage文件存储了文件系统树以及文件和目录的元数据信息，而EditLog记录了所有的文件创建、删除和重命名等操作。名称节点在内存中保存了文件块到数据节点位置的映射信息，而数据节点负责实际的数据存储，并定期向...
阿里云 专有云企业版 V3.8.1 文件存储HDFS 技术白皮书 20190910
04-07
3. 文件存储HDFS的系统架构 文件存储HDFS的系统架构主要包括以下几个部分： * Namenode：负责管理文件系统的命名空间和目录树。 * Datanode：负责存储数据块，提供数据读取和写入操作。 * Client：提供文件系统的...
阿里云 专有云企业版 V3.8.1 文件存储HDFS 开发指南 20190910
04-07
"阿里云 专有云企业版 V3.8.1 文件存储HDFS 开发指南 20190910" 本文档旨在指导开发者使用阿里云专有云企业版 V3.8.1 文件存储HDFS，提供了详细的开发指南和使用说明。下面是本文档中的主要知识点： 1. 法律声明：...
分布式文件存储系统&&HDFS
dfq737211338的博客
06-13 264
HDFSHadoop Distributed File System，它是一个分布式文件存储系统。适用于适合一次写入，多次读出的场景。优点高容错性数据自动保存多个副本，通过增加副本的形式，提高容错性。一个副本丢失以后，可以自动恢复。适合处理大数据数据规模：能够处理数据规模达到GB、TB甚至PB级别的数据文件规模：能够处理百万规模以上的文件数量，数量相当之大可以构建在廉价机器上，通过多副本机制，提高可靠性。缺点不适合低延时数据访问：比如无法做到毫秒级的存储数据。
HDFS 数据完整性
liu_changshen的博客
11-04 220
图示: 解释：数据在写入之后进行校验和的计算，DataNode周期性进行校验和计算，将计算结果与第一次的结果进行对比。 若相同表示无数据丢失，若不相同表示数据有丢失，丢失进行数据恢复。 数据读取之前对数据进行校验，与第一次的结果进行对比。若相同表示数据没有丢失，可以读取。若不相同表示数据 有所丢失。到其他副本读取。 ...
HDFS(3):Hadoop优化与发展
忄凝^的博客
06-30 831
目录7、hadoop的优化与发展7.1、HDFS1.x的局限与不足7.2、Hadoop2.x的优化8、HDFS 2.x组件----即HDFS HA8.1、详情8.2、ZKFC工作流程8.3、脑裂brain-split9、HDFS Federation(HDFS 联邦)9.1、HDFS 1.x 问题9.2 、HDFS 联邦9.3、HDFS Federation的访问方式9.4、HDFS Federation优势10、Hadoop3.x新特性10.1、Erasure Encoding 技术10.2、NameNo
分布式文件系统 HDFS 简介
兮动人
04-02 1093
文章目录1. HDFS 简介2. HDFS起源发展3. HDFS设计目标4. HDFS应用场景5. HDFS重要特性--主从架构6. HDFS重要特性--分块存储机制7. HDFS重要特性--副本机制8. HDFS重要特性--namespace9. HDFS重要特性--元数据管理10. HDFS重要特性--数据块存储 1. HDFS 简介 HDFS（ Hadoop Distributed File System ），意为：Hadoop分布式文件系统。是Apache Hadoop核心组件之一，作为大数据生态
hadoop：hdfs：HDFS存入文件的整个流程
不花的花和尚的博客
08-17 1301
本文结合HDFS的副本和分块从宏观上描述HDFS存入文件的整个流程。HDFS体系中包含Client、NameNode、DataNode、SeconderyNameode四个角色，其中Client是客户端，NN负责管理，DN负责存储、SN协助管理。 先来看一个官网上的图 # 图 0 -HDFS的体系结构 HDFS的副本存储有如下规则： 1.client将第一副本放到最靠近的一台DN 2.第二副本优先放到另一个机架 3.以此类推，尽量保证副本放在不同的机架 由于副本和分块机制的存在..
HDFS3的简介、安装、部署与简单使用
weixin_46307478的博客
09-26 1292
HDFS的安装部署 下载地址：Index of /dist/hadoop/common (apache.org) 一、简介 Hadoop（四）HDFS集群详解 - jstarseven - 博客园 (cnblogs.com) 大数据分布式文件存储系统–HDFS - 知乎 (zhihu.com) HDFS前言： 设计思想：（分而治之）将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spa
HDFS3.x集群配置
东黧的博客
06-12 1204
1、准备工作 准备3太centos机器并设置主机名 修改命令：vim /etc/hostname 一台作为Namenode，命名为master， 两台作为dataNode，命名为node-1, node-2 设置hosts 修改命令：vim /etc/hosts 192.168.0.6 master 192.168.0.17 node-1 192.168.0.19 node-2 3...
hdfs 3.x 分布式安装（超详细）
yzh_1346983557的博客
07-26 777
一、安装环境：centos7、hadoop-3.1.2、3个节点（192.168.56.60，192.168.56.62，192.168.56.64，3个节点都安装datanode 伪分布式保证datanode HA）。 centos60 centos62 centos64 NameNode SecondaryNameNode Da...
HDFS小文件合并策略：使用Archive解决存储难题
在Hadoop分布式文件系统(HDFS)中，处理小文件是一个常见的挑战，因为HDFS设计时并不特别适合大量小文件存储。每个小文件至少会被分割为一个Block，这会导致NameNode节点内存消耗大，尤其是在拥有众多小文件的情况下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小东子李

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值