HDFS 面试知识点
HDFS 面试知识点
一、HDFS 基础知识
##### 概述
为什么HDFS能存储海量数据
概念 :hdfs是一个分布式的文件系统,用于海量数据的存储
设计思想:分而治之,将大文件、大批量文件,分布式存放在大量服务器上,采取分而治之的方式对海量数据进行运算分析
作用:为各类分布式运算框架,如:MR,Spark ,等提供数据存储服务(hbase、hive也是依托于hdfs进行数据存储)
特性:
HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)
原创
2021-11-26 22:32:49 ·
1818 阅读 ·
0 评论