![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
leiroliu
这个作者很懒,什么都没留下…
展开
-
HDFS2.x中Fimage文件和Edit.log文件的作用
在HDFS中,每一个文件块。都会有一条元数据用来唯一标识这个文件块的存在。而Fimage和edit.log这两个文件就是用来保存,处理这些元数据信息的文件。 Fimage和edit.log文件 元数据的特点:频繁操作,量大 因为元数据需要频繁操作这个特点,所以要将元数据(MetaData)存放到内存中,以便于高速访问。但是由于内存(RAM随机存储器)的断电数据丢失的特性,因此在硬盘中需要有一...原创 2018-08-05 17:38:18 · 1491 阅读 · 0 评论 -
HDFS2.X流程
进程组成 ResourceManager:yarn的主管角色(管理协调分配集群中的资源) NodeManager:yarn中的劳动者 用来启动和监视本地计算机资源单位Container的利用情况。 NameNode: 元数据的处理者。 用来处理DataNode对它的各种请求。列如心跳活动,以及周期性注册等活动。 SecondaryNameNode:元数据文件的合...原创 2018-08-05 17:25:50 · 272 阅读 · 0 评论 -
Hadoop学习笔记(一) 搭建一个Hadoop集群
在学习的Hadoop的的过程中,首先要做的就是建立一个Hadoop的的的集群。我在搭建的过程中,除了许多问题,然后不断的查找不断的百度,通过大量的实验。不知道废了多少组虚拟机终于成功了,下面就把我搭建的过程分享出来吧。 1.下载的VMware,安装虚拟机 我下载的是VMware12Pro,现在好像最新的是VMware14,你们也可以下载使用。下面直接给你们一条链接吧。 下咱完成后点击安...原创 2018-08-23 22:07:57 · 198 阅读 · 0 评论