HDFS核心工作原理

HDFS核心工作原理

1 Namenode元数据管理要点

1）什么是元数据？
hdfs的目录结构及每一个文件的块信息（块的id，块的副本数量，块的存放位置）

2）元数据由谁负责管理？
Namenode

3）namenode把元数据记录在哪里？
Namenode的实时的完整的元数据存储在内存中；
Namenode还会在磁盘中（dfs.namenode.name.dir）存储内存元数据在某个时间点上的镜像文件；
Namenode会把引起元数据变化的客户端操作记录在edits日志文件中；
Secondarynamenode会定期从namenode上下载fsimage镜像和新生成的edits日志，然后加载fsimage镜像到内存中，然后顺序解析edits文件，对内存中的元数据对象进行修改（整合）
整合完成后，将内存元数据序列化成一个新的fsimage，并将这个fsimage镜像文件上传给namenode
上述过程叫做：checkpoint操作

电脑画图软件手绘原理图如下：

2部署yarn集群

mapreduce程序应该是在很多机器上并行启动，而且先执行map task，当众多的maptask都处理完自己的数据后，还需要启动众多的reduce task，这个过程如果用用户自己手动调度不太现实，需要一个自动化的调度平台——hadoop中就为运行mapreduce之类的分布式运算程序开发了一个自动化调度平台——YARN
yarn集群中有两个角色：
主节点：Resource Manager 1台
从节点：Node Manager N台

Resource Manager一般安装在一台专门的机器上
Node Manager应该与HDFS中的data node重叠在一起

修改配置文件：
yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp-04</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

这里的yarn.resourcemanager.hostname值得是设置ResourceManager的主机名或Ip
然后将配置好的yarn-site.xml文件拷贝到其他集群

然后运行yarn集群，执行/sbin/start-all.sh或/sbin/start-yarn.sh命令即可启动集群，此时访问8088端口即可看到yarn集群的相关信息。