SparkSnail

Namenode维护了edits和fsimage文件来记录元数据，但是Namenode本身不适合进行edits和fsimage的合并操作，这个操作由secondary Namenode来完成，并将合并后的fsimage发到Namenode。触发Checkpoint条件：达到定时时间.Edits新数据达到100W条合并步骤：Secondary namenode请求是否需要CheckpointSecondary namenode请求执行Checkpoint滚动Edits文件拷贝所有edit

当HDFS在safemode时，客户端只能进行有限读操作，不能进行写操作。所能读取的文件，是拿到当前文件所有块的文件，缺少文件块的文件不能读。当HDFS处于安全模式时，说明有Datanode丢失块，当进行写操作时，有可能造成文件块丢失，所以HDFS用进入safemode来保护数据。当 NN得到所有块最小副本总数 / 块总数 < threhold (default:99.99%)时，NN进入safemode.相关命令： hdfs dfsadmin -safemode get 获取当前sa

dfs.blocksize配置原理Hdfs存储的块大小，可以根据dfs.blocksize进行配置。根据最佳传输消耗理论，一次传输中寻址时间为总传输时间的1%为最佳状态。一般机器磁盘寻址时间为10ms，一次写入数据总传输时间为10ms % 1% = 1000ms一次写入数据最佳大小则为 1000ms * 磁盘写入速度如果磁盘的写入速度是100M/S， 块最佳大小为 1000ms * 100M/S = 100M， 可以设置dfs.blocksize=128M如果磁盘的写入速度是300M/S， 块最

配置hadoop的时候，DFSZKFailoverController启动失败。错误显示：ssh: Could not resolve hostname You: Temporary failure in name resolution最后终于找到了解决方法，是要配置一下环境变量。vim /etc/profile加入export HADOOP_COMMON_LIB_NATIVE

1.前言最近需要搭建一个推荐系统，由于只有一台服务器，Hadoop使用伪分布式。2.安装伪分布式Hadoop2.1.添加Hadoop用户sudo useradd -m hadoop -s /bin/bash为hadoop设置密码sudo passwd hadoop为hadoop增加管理员权限sudo adduser hadoop sudo2.2.更新...