HDFS 特性
1.海量数据存储: HDFS可横向扩展,其储存文件可以支持PB级别数据
2.高容错性: 节点丢失,系统依然可用,数据保存多个副本,副本丢失后自动回复。
可构建在廉价(与小型机大型机比)的机器上, 实现线性扩展(随着节点数量的增加,集群的存储能力,计算能力随之增加)
3.大文件存储:DFS采用数据块的方式存储数据,将一个大文件切分成多个小文件,分布存储
HDFS 缺点
1.不能做到低延迟数据访问: HDFS针对一次性读取大量数据继续了优化,牺牲了延迟性。
2.不适合大量的小文件存存储:
A:由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存容量
B:每个文件,目录和数据块的存储信息大约占150字节。
由于以上两个原因,所以导致HDFS不适合大量的小文件存储
3.文件的修改: 不适合多次写入,一次读取(少量读取)
4.不支持多用户的并行写
HDFS高级命令
HDFS上的某一个特定的目录存储的数据副本 、数据量、文件的个数进行设置。
设置目录可以存储的文件的数量 hdfs dfsadmin -setQuota 100 lisi (文件夹本身算一个)
清空文件夹内数据良方的限制 hdfs dfsadmin -clrQuota /user/root/lisi
限制文件夹下存储的数据量