HDFS 优缺点介绍和安全模式介绍

HDFS 优点(特性)

1.海量数据的存储

(1)数据 : HDFS可横向扩展,其存储的文件可以支持到PB级别
(2)文件: 处理的文件规模至百万以上.

2.高容错性

节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复,通过增加副本数量来增加容错性默认为3个.

3.大文件存储

DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布式进行存储.

4.可构建在廉价（与小型机大型机比）的机器上

实现线性扩展(随着节点数量的增加，集群的存储能力，计算能力随
之增加)

5.流式数据访问

一次写入,多次读取,一般使用追加的方式修改文件.

HDFS缺点：

1.不适合少量数据的低延迟访问

原因:HDFS 针对一次性读取大量数据继续了优化，牺牲了延迟性
示例: 比如毫秒级的来存储数据,是不适用的.
适用场景:适合高吞吐率的场景(在某个时间内写入大量的数据)

2.不适合大量的小文件存储

原因:
(1)由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存
容量。
(2)每个文件、目录和数据块的存储信息大约占150字节。
由于以上两个原因，所以导致HDFS不适合大量的小文件存储
示例:
(1)如果有一个文件的大小是1TB把这个文件存储到HDFS中 ,它在namenode中存储信息的大小大概占150 字节左右.
(2)如果有五十个文件文件大小总共是 1TB 把这些文件存储饿到HDFS中,它在namenode中存储信息的大小大概占 150*50字节

适用场景:适合存储单个大文件

3.文件的修改麻烦

原因:
1)不适合多次写入,一次读取(少量读取),不允许多个线程同时写入.
2) 不支持文件任意修改,仅支持追加,如果对文件进行任意修改得重新上传.
示例:当你想修改HDFS中的某一个大文件时,只能在末行进行追加操作,如果想任意修改得把文件下载下来修改完成再重新上传.

4.不支持多用户的并行写入

---

---

HDFS安全模式

1.概念:

安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请
求。

2.什么时候进入安全模式?

在NameNode主节点启动时，HDFS首先进入安全模式

3.在安全模式下做了什么?

DataNode在启动的时候会向namenode汇报可用的block等状态

4.查看hdfs在什么模式

hdfs dfsadmin -safemode get

5.进入hdfs安全模式

hdfs dfsadmin -safemode enter

6.退出hdfs安全模式

hdfs dfsadmin -safemode leave

最后:能力有限,如果有写的不对的地方欢迎大神给我留言指正.