Hadoop大数据分布式文件系统hdfs的工作机制

HDFS集群分为两大角色：NameNode、DataNode
NameNode负责管理整个文件系统的元数据
DataNode 负责管理用户的文件数据块

namenode工作机制

namenode职责：
响应客户端请求
维护目录树
管理元数据（查询，修改）
---- hdfs元数据是怎么存储的？
A、内存中有一份完整的元数据（特定数据结构）
B、磁盘有一个“准完整”的元数据的镜像文件
C、当客户端对hdfs中的文件进行新增或者修改操作，首先会在edits文件中记录操作日志，当客户端操作成功后，相应的元数据会更新到内存中；
每隔一段时间，会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge（这个过程称为checkpoint）

D、checkpoint操作的触发条件配置参数：

dfs.namenode.checkpoint.check.period=60  #检查触发条件是否满足的频率，60秒
dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary
#以上两个参数做checkpoint操作时，secondary namenode的本地工作目录
dfs.namenode.checkpoint.edits.dir=${dfs.namenode.checkpoint.dir}

dfs.namenode.checkpoint.max-retries=3  #最大重试次数
dfs.namenode.checkpoint.period=3600  #两次checkpoint之间的时间间隔3600秒
dfs.namenode.checkpoint.txns=1000000 #两次checkpoint之间最大的操作记录

E、namenode和secondary namenode的工作目录存储结构完全相同，所以，当namenode故障退出需要重新恢复时，可以从secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录，以恢复namenode的元数据
F、可以通过hdfs的一个工具来查看edits中的信息
bin/hdfs oev -i edits -o edits.xml

datanode的工作机制

Datanode工作职责：
存储管理用户的文件块数据
定期向namenode汇报自身所持有的block信息（通过心跳信息上报）
上传一个文件，观察文件的block具体的物理存放情况
在每一台datanode机器上的这个目录：
/home/hadoop/app/hadoop-2.4.1/tmp/dfs/data/current/BP-193442119-192.168.2.120-1432457733977/current/finalized

另外

• HDFS的其他访问方式：
  HDFS文件系统可以通过标准的hdfs shell / rest api / java api来操作，还可以利用fuse这种工具将hdfs挂载为一个unix标准文件系统，就可以使用标准的linux文件操作方式来操作hdfs文件系统
  HDFS还可以挂载为一个NFS系统
• FileUtil工具类

FileUtil.copy(new File("c:/test.tar.gz"),
	 	FileSystem.get(URI.create("hdfs://hadoop-server01:9000"), conf, "hadoop"), 
		new Path("/test.tar.gz"), true, conf);

• hdfs的trash配置
  Hdfs存在回收站机制，进入回收站的文件可以保存一段时间，过期后再清除
  参数配置：

fs.trash.checkpoint.interval=0     #回收站过期机制检查频率（分钟）
fs.trash.interval=0     #回收站中文件过期的时间限制（分钟）

• 通配符及过滤器选择文件
  
• Namenode的安全模式
  （1）当nameonde发现文件block丢失的数量达到一个配置的门限时，就会进入安全模式，它在这个模式下等待datanode向它汇报block信息。
  （2）在安全模式下，namenode可以提供元数据查询的功能，但是不能修改；
  可以手动管理namenode的安全模式：
  hdfs dfsadmin -safemode <enter | leave | get | wait]>