文件存储 HDFS中SDK示例

最新推荐文章于 2023-08-03 16:19:22 发布
最新推荐文章于 2023-08-03 16:19:22 发布
阅读量901 收藏 7
点赞数 15
分类专栏： Java 介绍 笔记 文章标签： 阿里云 新星计划 HDFS Hadoop 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43647037/article/details/117325240
版权
笔记 同时被 3 个专栏收录
61 篇文章 0 订阅
订阅专栏
Java
42 篇文章 0 订阅
订阅专栏
介绍
18 篇文章 1 订阅
订阅专栏

文件存储 HDFS中SDK示例

本文列出了创建目录、删除目录、上传文件、下载文件、显示目录、写入文件，读取文件、测试等操作的SDK示例，您可以参考示例工程开发您的应用。
准备工作
已完成文件存储HDFS的配置
已安装SDK
在计算节点上安装JDK，版本不能低于1.8。
在计算节点上安装hadoop，版本建议不低于2.7.2。
配置maven的依赖配置。

    <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.2</version>
            <!--hadoop版本建议不低于 2.7.2 -->
    </dependency>

创建目录
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleMkDir {

    public static void main(String[] args) throws IOException {

        if (args.length != 1) {
            System.out.println("本类为创建目录示例类，需要传入一个要创建目录路径的参数。\n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleMkDir /tmp/hdfs_test");
            System.exit(-1);
        }

        String fileName = args[0];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);
        //在文件存储hdfs上创建目录
        boolean mkdirsSuccess = hadoopFS.mkdirs(new Path(fileName));

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

        System.out.println("创建是否成功：" + mkdirsSuccess);
        System.out.println("用户可以使用hadoop命令查看创建的目录，例如 ：hadoop fs -ls  " + fileName);
    }
}

运行示例
如果创建成功，则执行hadoop fs -ls /tmp/hdfs_test命令无返回值。否则会报错No such file or directory。
在这里插入图片描述
移动或者重命名
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleRename {

    public static void main(String[] args) throws IOException {

        if (args.length != 2) {
            System.out.println("本类为移动或者重命名示例类，需要传入两个的路径参数。第一个为需要移动或重命名的路径，第二个为移动或重命名后的路径 \n" +
                    "例如： hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleRename /tmp/hdfs_test  /tmp/hdfs_test2");
            System.exit(-1);
        }

        String fileName = args[0];
        String fileRename = args[1];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");


        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

         if (hadoopFS.exists(new Path(fileName))) {
            System.out.println("文件存储hdfs上不存在" + fileName);
        }

        boolean renameSuccess = hadoopFS.rename(new Path(fileName), new Path(fileRename));
        System.out.println("改名是否成功" + renameSuccess);
        System.out.println("用户可以使用hadoop命令查看移动或者重命名后文件，例如 ：hadoop fs -ls  " + fileRename);

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

        System.out.println("改名是否成功"+renameSuccess);
        System.out.println("用户可以使用hadoop命令查看移动或者重命名后文件，例如 ：hadoop fs -ls  " + fileRename);
    }
}

运行示例
重命名
如果重命名成功，则执行hadoop fs -ls /tmp/hdfs_test2命令无返回值。否则会报错No such file or directory。
在这里插入图片描述

重命名运行示例
移动
如果移动成功，则执行hadoop fs -ls /tmp/hdfs_test2命令，可以看到/tmp/hdfs_test2目录下有内容。
在这里插入图片描述

删除目录

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleDelete {

    public static void main(String[] args) throws IOException {

        if (args.length != 1) {
            System.out.println("本类为删除示例类，需要传入一个要删除的路径。\n" +
                    "例如： hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleDelete /dfs_test2 ");
            System.exit(-1);
        }

        String fileName = args[0];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        if (hadoopFS.exists(new Path(fileName))) {
            boolean deleteSuccess = hadoopFS.delete(new Path(fileName), true);
            System.out.println("删除是否成功:" + deleteSuccess);
            System.out.println("用户可以使用hadoop命令查看是否存在删除的目录，例如 ：hadoop fs -ls  " + fileName);

        } else {
            System.out.println("hdfs文件系统上不存在文件：" + fileName);
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

    }
}

运行示例
如果删除成功，则执行 hadoop fs -ls /tmp/hdfs_test2命令将返回ls: `/tmp/hdfs_test2’: No such file or directory。
在这里插入图片描述

上传文件
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleUp {

    public static void main(String[] args) throws IOException {

        if (args.length != 2) {
            System.out.println("本类为上传文件(将本地文件上传到hdfs上)示例类，需要传入两个的路径。第一个为需要上传的本地文件路径，第二个为上传到hdfs上的文件路径 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleUp /root/test_local.txt  /tmp/test_hdfs.txt ");
            System.exit(-1);
        }

        String localFilename = args[0];
        String fileName = args[1];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        if (!hadoopFS.exists(new Path(fileName))) {
            hadoopFS.copyFromLocalFile(new Path(localFilename), new Path(fileName));
            System.out.println("上传是否成功" + hadoopFS.exists(new Path(fileName)));
            System.out.println("用户可以使用hadoop命令查看上传的文件，例如 ：hadoop fs -ls  " + fileName);
        } else {
            System.out.println("上传失败，在文件存储hdfs上已经存在该文件");
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

    }
}

运行示例
如果上传成功，则执行hadoop fs -ls /tmp/test_hdfs.txt命令可以在文件存储HDFS上看到该文件。

在这里插入图片描述

下载文件
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.File;
import java.io.IOException;

public class exampleDown {
    public static void main(String[] args) throws IOException {

        if (args.length != 2) {
            System.out.println("本类为下载文件(将hdfs上的文件下载到本地)示例类，需要传入两个的路径。第一个为需要下载的hdfs文件路径，第二个为下载到本地的路径 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleDown /tmp/test_hdfs.txt  ./test_hdfs.txt ");
            System.exit(-1);
        }

        String fileName = args[0];
        String localFilename = args[1];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);
        if (!new File(localFilename).exists()) {
            hadoopFS.copyToLocalFile(new Path(fileName), new Path(localFilename));
            System.out.println("下载是否成功" + new File(localFilename).exists());
            System.out.println("用户可以在本地目录" + localFilename + "下看到下载到的文件。");
        } else {
            System.out.println("下载失败，在本地已经存在该文件");
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

    }
}

运行示例
如果下载成功，可以在本地看到该文件。
在这里插入图片描述

显示目录
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class exampleLs {

    public static void main(String[] args) throws IOException {

        if (args.length != 1) {
            System.out.println("本类为查看文件存储hdfs上目录信息示例类，需要传入一个要查看的路径。 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleLs / ");
            System.exit(-1);
        }

        String fileName = args[0];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        FileStatus[] fileStatuses = hadoopFS.listStatus(new Path(fileName));
        for (FileStatus file : fileStatuses) {
            System.out.print(file.getPermission() + "\t");
            System.out.print(file.getOwner() + "\t");
            System.out.print(file.getGroup() + "\t");
            System.out.print(file.getAccessTime() + "\t");
            System.out.print(file.getPath() + "\n");
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();
        System.out.println("\n\n用户可以使用hadoop命令查看文件存储hdfs "+ fileName +" 目录下的内容，例如 ：hadoop fs -ls " + fileName);
    }
}

运行示例
如果该方法运行成功，则执行hadoop fs -ls /命令的返回结果和exampleLs返回结果大致相同。

在这里插入图片描述

写入文件
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.BufferedInputStream;
import java.io.ByteArrayInputStream;
import java.io.IOException;
import java.io.InputStream;

public class exampleWrite {

    public static void main(String[] args) throws IOException {

        if (args.length != 2) {
            System.out.println("本类为写入hdfs文件系统上的文件示例类，需要传入两个的参数。第一个为的hdfs文件上一个写入文件的路径，第二个为写入文件中的内容 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleWrite  /tmp/test_write.txt 测试输入到hdfs上的文件的内容 ");
            System.exit(-1);
        }

        String filename = args[0];
        String msg = args[1] + "\n";

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);
        //创建文件流
        InputStream in = new BufferedInputStream(new ByteArrayInputStream(msg.getBytes("UTF-8")));

        //在hdfs上创建一个测试文件
        FSDataOutputStream out = hadoopFS.create(new Path(filename), true);
        //利用IOUtils.copyBytes进行写入
        IOUtils.copyBytes(in, out, 1024 * 8, true);
        System.out.println("已经写入hdfs文件系统上的" + filename + "文件");
        System.out.println("用户可以使用hadoop命令查看写入文件的内容 ：hadoop fs -cat  " + filename);

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();

    }
}

运行示例
若该方法运行成功，则执行hadoop fs -cat /tmp/test_write.txt命令的返回结果和exampleWrite写入该文件的内容相同。
在这里插入图片描述

读取文件
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.IOException;
import java.io.OutputStream;

public class exampleRead {
    public static void main(String[] args) throws IOException {

        if (args.length != 1) {
            System.out.println("本类为读取hdfs文件系统上的文件示例类，需要传入一个文件存储hdfs上的文件路径的参数。 \n" +
                    "例如:  hadoop  jar hdfs_example-1.0-SNAPSHOT.jar com.alibaba.dfs.examples.exampleRead /tmp/test_write.txt");
            System.exit(-1);
        }

        String filename = args[0];

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        if (hadoopFS.exists(new Path(filename))) {
            //创建文件流
            FSDataInputStream in = hadoopFS.open(new Path(filename));
            OutputStream out = System.out;

            IOUtils.copyBytes(in, out, 1024 * 8, );

            System.out.println("\n 用户可以使用hadoop命令查看文件的内容 ，例如：hadoop fs -cat  " + filename);
        } else {
            System.out.println("hdfs文件系统上不存在文件：" + filename);
        }

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();
    }
}

运行示例
如果该方法运行成功，则执行hadoop fs -cat /tmp/test_write.txt命令的返回结果和exampleRead打印的内容相同。

在这里插入图片描述

整体测试
示例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;

import java.io.*;

public class exampleAll {

    public static void main(String[] args) throws Exception {

        System.out.println("该测试类是包含本测试包中的所有API测试\n\n");

        //设置操作hdfs文件系统的用户，用户可自行设置
        //注意这里设置的用户，最好和在linux上运行该代码的用户一致
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建连接配置
        Configuration hdfsConf = new Configuration();

        //创建文件系统实例对象
        FileSystem hadoopFS = FileSystem.get(hdfsConf);

        System.out.println("在文件存储hdfs上创建目录/hdfs_mkdirTest");
        System.out.println("创建是否成功：" + hadoopFS.mkdirs(new Path("/hdfs_mkdirTest")) + "\n");
        Thread.sleep(2 * 1000);

        System.out.println("在文件存储hdfs上修改目录/hdfs_mkdirTest 为 /hdfs_renameTest ");
        System.out.println("改名是否成功: " + hadoopFS.rename(new Path("/hdfs_mkdirTest"), new Path("/hdfs_renameTest")) + "\n");
        Thread.sleep(2 * 1000);

        System.out.println("在文件存储hdfs上删除目录 /hdfs_renameTest ");
        System.out.println("删除是否成功: " + hadoopFS.delete(new Path("/hdfs_renameTest"), true) + "\n");
        Thread.sleep(2 * 1000);

        new File("./hdfs_upTest.txt").delete();
        new File("./hdfs_downTest.txt").delete();

        new File("./hdfs_upTest.txt").createNewFile();
        System.out.println("向文件存储hdfs的/hdfs_Test中，上传本地文件 ./hdfs_upTest.txt ");
        hadoopFS.mkdirs(new Path("/hdfs_Test"));
        hadoopFS.copyFromLocalFile(new Path("./hdfs_upTest.txt"), new Path("/hdfs_Test/hdfs_upTest.txt"));
        System.out.println("上传是否成功: " + hadoopFS.exists(new Path("/hdfs_Test/hdfs_upTest.txt")) + "\n");
        Thread.sleep(2 * 1000);

        System.out.println("从文件存储hdfs的/hdfs_Test中，下载文件hdfs_upTest.txt到当前目录 ");
        hadoopFS.copyToLocalFile(new Path("/hdfs_Test/hdfs_upTest.txt"), new Path("./hdfs_downTest.txt"));
        System.out.println("下载是否成功: " + new File("./hdfs_downTest.txt").exists() + "\n");
        Thread.sleep(2 * 1000);


        System.out.println("向文件存储hdfs上的/hdfs_Test/hdfs_writeTest.txt文件中写入测试内容");
        InputStream win = new BufferedInputStream(new ByteArrayInputStream(("测试写入文件存储hdfs 1 \n" +
                "测试写入文件存储hdfs 2 \n" +
                "测试写入文件存储hdfs 3 \n").getBytes("UTF-8")));
        FSDataOutputStream wout = hadoopFS.create(new Path("/hdfs_Test/hdfs_writeTest.txt"), true);
        IOUtils.copyBytes(win, wout, 1024 * 8, true);
        System.out.println("已经写入到/hdfs_Test/hdfs_writeTest.txt文件\n");

        Thread.sleep(2 * 1000);

        System.out.println("从文件存储hdfs上的/hdfs_Test/hdfs_writeTest.txt文件中读取之前写入的内容");
        FSDataInputStream rin = hadoopFS.open(new Path("/hdfs_Test/hdfs_writeTest.txt"));
        OutputStream rout = System.out;
        System.out.println("/hdfs_Test/hdfs_writeTest.txt文件中的內容为：");
        IOUtils.copyBytes(rin, rout, 1024 * 8, false);
        System.out.println();


        System.out.println("查看文件存储hdfs上 /hdfs_Test 目录 ");
        FileStatus[] fileStatuses = hadoopFS.listStatus(new Path("/hdfs_Test"));
        for (FileStatus file : fileStatuses) {
            System.out.print(file.getPermission() + "\t");
            System.out.print(file.getOwner() + "\t");
            System.out.print(file.getGroup() + "\t");
            System.out.print(file.getPath() + "\n");
        }
        System.out.println();
        System.out.println("测试完毕！");

        //使用完后，请释放资源，否则可能导致Resource busy错误
        hadoopFS.close();
        rout.close();
        rin.close();

    }
}

在这里插入图片描述

阿里云官方文档

小东子李
关注
  • 15
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 32
    评论
专栏目录
支持小型文件的HDFS系统.zip
10-10
支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS...
HDFS3的简介、安装、部署与简单使用
weixin_46307478的博客
09-26 1107
HDFS的安装部署 下载地址：Index of /dist/hadoop/common (apache.org) 一、简介 Hadoop（四）HDFS集群详解 - jstarseven - 博客园 (cnblogs.com) 大数据分布式文件存储系统–HDFS - 知乎 (zhihu.com) HDFS前言： 设计思想：（分而治之）将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spa
ZYNQ详细设计之SDK相关操作
weixin_50835177的博客
04-08 3241
，点击正上面图标，下载程序至FLASH，在Image File中选择镜像文件，在FSBL中选择elf文件，勾选Blank check after erase 和Verify after flash，然后开始下载。如果需要板卡中程序掉电不消失，则需要对程序进行固化，现在最常用的是固化到SD卡或者FLASH当中，固化后上电就会从SD卡或者FLASH中启动（和拨码开关关联），并加载程序。可以看到加载的bit文件和tcl文件，勾选方框中的选项，可以复位一下系统并且下载到FPGA中（bit文件掉电丢失）。
创建AD9361的vivado工程并导入SDK（ZYNQ平台）
大侠在线摸鱼
06-30 7238
vivado版本 2017.4（其它版本步骤基本相同）（官网步骤都有配图进入可查看） （官网链接 https://wiki.analog.com/resources/fpga/docs/build） 1、下载no-os文件 2018_r1 https://github.com/analogdevicesinc/no-OS 2、下载hdl文件2018_r1 https://github.com/analogdevicesinc/hdl/releases 3、windows（linux查看官网） 安装Cygwi
Xilinx SDK 基于 MicroBlaze MCS IP 核的嵌入式开发与调试
最新发布
qq_43581650的博客
08-03 2059
本文主要记录了 Xilinx SDK 软件进行嵌入式程序开发和调试的操作流程
4.4 使用Java API操作HDFS
m0_73693938的博客
12-02 911
在/ied01目录里确实创建了一个0字节的hadoop.txt文件，有点类似于Hadoop Shell里执行hdfs dfs -touchz /ied01/hadoop.txt命令的效果，但是有一点不同，hdfs dfs -touchz命令重复执行，不会失败，只是不断改变该文件的时间戳。// 删除路径对象指向的目录或文件。System.out.println(type + "[" + path + "]删除成功！System.out.println(type + "[" + path + "]删除失败！
Hadoop分布式文件系统HDFS介绍
01-30
总存储量可以达到的PB、EB级HDFS适合大文件，单个文件一般在百MB级以上文件数目适中3、流式数据访问，最高效的访问模式是一次写入、多次读取HDFS适合用于处理批量，而不适合随机定位访问HDFS存储的数据集作为hadoop...
利用JAVA代码将本地文件传入HDFS中
06-28
nb666
上传文件到HDFS
10-30
上传文件到HDFS的java代码实现。已经测试了，可以直接运行。
windows平台使用hadoop hdfs文件进行中文分词的示例代码
11-08
windows平台上，使用Eclipse hadoop插件，开发基于hdfs文件的中文分词统计和排序功能，以唐诗三百首为例，找出其中使用频率最高的词语。
大数据基础之hdfs3
weixin_33881753的博客
02-19 158
1、hdfs的副本的配置 修改hdfs-site.xml文件 <!-- 注释配置数据块的冗余度，默认是3 --> <property> <name>dfs.replication</name> <value>1</value> </property> <!--注释配置HDFS的权限检查，默认...
HDFS 数据完整性
liu_changshen的博客
11-04 194
图示: 解释：数据在写入之后进行校验和的计算，DataNode周期性进行校验和计算，将计算结果与第一次的结果进行对比。 若相同表示无数据丢失，若不相同表示数据有丢失，丢失进行数据恢复。 数据读取之前对数据进行校验，与第一次的结果进行对比。若相同表示数据没有丢失，可以读取。若不相同表示数据 有所丢失。到其他副本读取。 ...
Xilinx SDK2016.2创建工程
Moon~
09-23 2039
Xilinx SDK2016.2创建工程Xilinx SDK2016.2创建工程准备工作创建SDK工程导入源代码 Xilinx SDK2016.2创建工程 准备工作 在Vivado 2016.2中导出硬件描述文件，一般名称为：xxxx.hdf 创建SDK工程 打开SDK软件，设定好相应的工程存放目录。 File --> New --> Application Project 在Application Project窗口内依次做如下步骤： 填写Project name，根据自己项目名
HDFS JAVA API
unhurried人生——冕临的博客
09-12 1172
org.apache.hadoop.fs.FileSystem：一个通用文件系统的抽象基类，可以被分布式文件系统继承。所有可能使用Hadoop文件系统的代码都要使用到这个类。org.apache.hadoop.fs.FileStatus：一个接口，用于向客户端展示系统中文件和目录的元数据，具体包括文件大小、块大小、副本信息、所有者、修改时间等，可通过FileSystem.listStatus()方法获得具体的实例对象。
Xilinx SDK工程导入与导出（工程打包）
qianshuyuankk的专栏
02-24 3788
目的：SDK工程导出导入，方便工程移动与存储 开发环境： SDK 2018.02 导入导出的菜单在File下面 工程导出 工程导入
Spark读取Hive数据的两种方式与保存数据到HDFS
m0_46168848的博客
02-02 4021
Spark读取Hive数据的两种方式与保存数据到HDFS
java I/O 学习之FileInputStream读取文件信息问题
DNXB_0的博客
09-09 376
我不明白，这个aa第一次读取了整个文档，但是新写入字符以后，为什么他不是读取整个文件，而是只读取到了新写入的字符。 以下是代码： public static void main(String[] args) throws IOException{ File fl=new File("E:\\myeclipse8.5\\text.txt"); fl.createNewFile(); FileInputStream aa =new FileInputStream(fl); int d; S
hadoop：hdfs：HDFS存入文件的整个流程
不花的花和尚的博客
08-17 1188
本文结合HDFS的副本和分块从宏观上描述HDFS存入文件的整个流程。HDFS体系中包含Client、NameNode、DataNode、SeconderyNameode四个角色，其中Client是客户端，NN负责管理，DN负责存储、SN协助管理。 先来看一个官网上的图 # 图 0 -HDFS的体系结构 HDFS的副本存储有如下规则： 1.client将第一副本放到最靠近的一台DN 2.第二副本优先放到另一个机架 3.以此类推，尽量保证副本放在不同的机架 由于副本和分块机制的存在..
HDFS Quotas Guide（HDFS配额指南）
ChengYanan的博客
04-25 335
HDFS Quotas Guide官网链接2.9.2版本 HDFS Quotas Guide官网链接2.7.1版本 简介：Hadoop提供两种配额（quota）模式，name quota和space quota。name quota限制路径的文件（含文件夹）数目，space quota限制的”磁盘”占用空间。可以通过此功能实现团队的存储使用管理。 使用方法 Set the name quota ...
小型文件在hdfs中如何存储和管理
03-22
2. 存储小文件：将小文件存储到HDFS中，可以使用SequenceFile、MapFile等格式来存储小文件，这些格式可以将多个小文件打包成一个大文件，从而减少NameNode的内存占用和元数据的存储量。同时，这些格式还支持快速的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 32
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小东子李

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值