hdfs:Hadoop分布式文件系统_格式化dfs分布式文件系统-CSDN博客

本文链接：https://blog.csdn.net/lin434406218/article/details/52324850

1、hdfs:Hadoop分布式文件系统
HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。
HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。
HDFS是Apache Hadoop Core项目的一部分。

2、hdfs架构
namenode：管理文件系统的元数据
datanode：存储实际的数据。读写都是调用datanode 的方法

3、读操作
文件内容读取的代码可以分为三个大步骤。
1、获取文件系统
2、通过文件系统打开文件
3、将文件内容输出

public static void read(Path path) throws IOException{
    FileSystem hdfs = HdfsUtils.getFilesystem();  //步骤 1
    FSDataInputStream fsDataInputStream =  hdfs.open(path); //步骤 2
    IOUtils.copyBytes(fsDataInputStream, System.out, 4096,false);  //步骤 3
}

4、写操作
第一台备份：写在离客户端最近的一台IP机器上
第二台备份：第一台IP机子的同一个机架上
第三台备份：必须写在与第一台IP机子不同的机架上

5、hdfs的文件
fsimage–目录结构
edits–日志文件（log）
SecondNamenode对fsimage和edits的文件操作。

6、hdfs不擅长的领域：
低时间延迟的数据访问：不能处理实时性的数据 OLTP(事务)，OLAP（分析）
存储大量的小文件：处理的是大数据，数据越大，效率越高
多用户写入，任意修改文件：处理的是历史数据

7、hdfs -IO 基于硬盘
spark 基于内存
基于内存的永远是不可靠的

8、hdfs中文件块默认是64M