2020年10月_sparksnail

10月

原创 Secondary Namenode checkpoint工作机制

Namenode维护了edits和fsimage文件来记录元数据，但是Namenode本身不适合进行edits和fsimage的合并操作，这个操作由secondary Namenode来完成，并将合并后的fsimage发到Namenode。触发Checkpoint条件：达到定时时间.Edits新数据达到100W条合并步骤：Secondary namenode请求是否需要CheckpointSecondary namenode请求执行Checkpoint滚动Edits文件拷贝所有edit

2020-10-23 11:29:00 332

原创 HDFS safemode

当HDFS在safemode时，客户端只能进行有限读操作，不能进行写操作。所能读取的文件，是拿到当前文件所有块的文件，缺少文件块的文件不能读。当HDFS处于安全模式时，说明有Datanode丢失块，当进行写操作时，有可能造成文件块丢失，所以HDFS用进入safemode来保护数据。当 NN得到所有块最小副本总数 / 块总数 < threhold (default:99.99%)时，NN进入safemode.相关命令： hdfs dfsadmin -safemode get 获取当前sa

2020-10-23 10:56:58 386

原创 dfs.blocksize配置原理

dfs.blocksize配置原理Hdfs存储的块大小，可以根据dfs.blocksize进行配置。根据最佳传输消耗理论，一次传输中寻址时间为总传输时间的1%为最佳状态。一般机器磁盘寻址时间为10ms，一次写入数据总传输时间为10ms % 1% = 1000ms一次写入数据最佳大小则为 1000ms * 磁盘写入速度如果磁盘的写入速度是100M/S，块最佳大小为 1000ms * 100M/S = 100M，可以设置dfs.blocksize=128M如果磁盘的写入速度是300M/S，块最

2020-10-22 20:53:37 2373