Hadoop个人心得笔记之DFS目录

                                             DFS目录

---

1. dfs目录在NameNode被格式化的时候产生
2. dfs目录的子目录：name、data、namesecondary
3. in_use.lock标记当前节点已经在使用
4. HDFS第一次启动的时候，会默认在1min的时候进行一次合并，之后就按照更新条件啦进行合并
5. edits文件的开始和结束都会算作一次事务
6. 上传文件：
   1. OP_ADD：在指定目录下创建一个同名文件._COPYING_，此时这个文件允许写入
   2. OP_ALLOCATE_BLOCK_ID：分配BlockID
   3. OP_SET_GENSTAMP_V2：给时间戳分配一个编号
   4. OP_ADD_BLOCK：将数据传输到HDFS上
   5. OP_CLOSE：关流，关闭文件，此时文件不允许写入
   6. OP_RENAME_OLD：重命名
7. edits文件的转化命令：hdfs oev -i edits_XXX -o xxx.xml
8. fsimage文件的转化命令：hdfs oiv -i fsimage_0000000000000000000 -o f.xml -p XML
9. VERSION文件：
   1. clusterID：集群编号。在NameNode被格式化的时候，自动计算一个clusterID，并且会在启动HDFS之后，NameNode会将clusterID分发给每一个DataNode；NameNode每格式化一次，clusterID都会重新计算
   2. storageType：节点类型
   3. blockpoolID：块池ID。主用于联邦HDFS中