hdfs的安全模式

安全模式的作用

hadoop的安全模式即只读模式，是指当前系统中数据块的副本数比较少，在该阶段要对数据块进行复制操作，不允外界对数据块进行修改和删除等操作。
Namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件（这个操作不需要辅助namenode）和一个空的编辑日志。此时，namenode开始监听RPC和http请求。但此时， namenode运行在安全模式，即namenode的文件系统对于客户端来说是只读的。
需要强调的是，系统中数据块的位置并不是由namenode维护的，而是以块列表的形式存储在datanode中。在系统的正常操作期间，namenode会在内存中保留所有块位置的映射信息。在安全模式下，各个datanode会向namenode检查块列表信息（即向namenode发送块列表的最新情况），namenode了解到足够多的块位置信息之后，即可高效运行文件系统。但如果namenode没有检查到足够多的块复本，则需要将块复制到其他datanode，而在大多数情况下这都是不必要的（因为只需等待检查到最小复本数）,并会极大的浪费集群的资源。实际上，在安全模式下，namenode并不向datanode发出任何块复制或块删除的指令。

何时进入安全模式

• NameNode在启动的时候首先进入安全模式

• 满足最小复本数要求的数据块比例达不到dfs.safemode.threshold.pct

  如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

何时退出安全模式

• 如果满足“最小复本条件”namenode会在30秒之后退出安全模式。所谓的最小复本条件指的是文件系统中有99.9%的块满足最小复本级别（默认值是1，由dfs.replication.min属性设置）。
• 手动退出

安全模式的配置

https://www.iteblog.com/archives/977.html
https://www.cnblogs.com/admln/p/5821983.html

dfs.replication：设置数据块应该被复制的份数；
dfs.replication.min：所规定的数据块副本的最小份数；
dfs.replication.max：所规定的数据块副本的最大份数；
dfs.safemode.threshold.pct：指定应有多少比例的数据块满足最小副本数要求。
  (1)当小于这个比例， 那就将系统切换成安全模式，对数据块进行复制；
  (2)当大于该比例时，就离开安全模式，说明系统有足够的数据块副本数，可以对外提供服务。
  (3)小于等于0意味不进入安全模式，大于1意味一直处于安全模式。

副本数按dfs.replication设置，如果有失效节点导致某数据块副本数降低，当低于dfs.replication.min后，系统再在其他节点处复制新的副本。如果该数据块的副本经常丢失，导致在环境中太多的节点处复制了超过dfs.replication.max的副本数，那么就不再复制了。

手动操作安全模式

①查看namenode是否处于安全模式：hadoop dfsadmin –safemode get
②执行某条命令前namenode先退出安全模式：hadoop dfsadmin –safe wait
③进入安全模式：hadoop dfsadmin –safemode enter
④离开安全模式：hadoop dfsadmin –safemode leave