![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
湖面独成双
你等我也等
展开
-
HDFS--梳理各个模块的功能与关系
概述 · 1.HDFS是hadoop的一个组件 全称:Hadoop Distributed File System,专门存储超大数据文件,为整个Hadoop生态圈提供了基础的存储服务。 一、技术细节 1.用于管理的节点称之为NameNode 2.用于存储的节点称之为DataNode 3.元数据:用于存储NameNode寻找DataNode的信息 存储的信息: a.文件...原创 2019-01-03 23:29:12 · 2441 阅读 · 1 评论 -
HDFS---回收站
一、概述 1.HDFS回收站默认不开启 · 2.Deletion interval = 0 minutes 表示清空周期为0,就以为这如果将数据放入回收站,立即删除 · 3.配置回收站 编辑core –site.xml 添加如下内容 <property> <name>fs.trash.interval</name> <value...原创 2019-01-03 23:35:40 · 145 阅读 · 0 评论 -
HDFS---dfs目录
· 在hadoop的目录中有一个dfs目录,它对于HDFS十分关键,下面我们就介绍一下其子目录以及他们各自的作用: 1.存储HDFS中的数据 2.子目录: a.data表示DateNode存储数据的目录 b.name表示NameNode存储元数据的目录 c.namesecondary表示SecondaryNameNode存储元数据的目录 3.节点刚格式化完成之后,会自动产生一个dfs/name ...原创 2019-01-03 23:41:43 · 2409 阅读 · 0 评论 -
hadoop安装后DataNode无法启动
原因: 其中一个原因是由于多次格式化数据目录而导致NameNode中的clusterID和DadaNode中的clusterID不一致 当我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的 namenode的版本。 如果我们频繁的格式...原创 2019-01-04 23:07:38 · 503 阅读 · 0 评论 -
HDFS的具体读、写、删除操作流程
一、读取流程 · 1.客户端通过RPC(远程过程调用,特点:能够让客户端人员更加注重业务流程,而不是文件的发送)请求访问NameNode NameNode查询元数据,获取到文件的存储路径,将文件的所对应全部或者部分(面对多个文件块)文件块的存储路径放入一个队列中再发送给客户端(NameNode给client返回的是内网IP,如果是自己的云主机,要去找对应的vpn,否则无法访问。) 2.客户...原创 2019-01-04 23:21:34 · 749 阅读 · 0 评论 -
HDFS优缺点
优点: 1.支持超大文件 支持超大文件。超大文件在这里指的是几百M,几百GB,甚至几TB大小的文件。一般来说hadoop的文件系统会存储TB级别或者PB级别的数据。所以在企业的应用中,数据节点有可能有上千个。 2.检测和快速应对硬件故障 在集群的环境中,硬件故障是常见的问题。因为有上千台服务器连接在一起,这样会导致高故障率。因此故障检测和自动恢复(心跳机制)是hdfs文件系统的一个设计目标...转载 2019-01-04 23:24:57 · 538 阅读 · 0 评论 -
MapReduce运行原理
概述: · 1.MapReduce是Hadoop用于分布式计算的模式。所谓分布式计算就是将一个大型计算任务分成很多部分,分别交给其他计算机处理,并将所有计算结果合并为原问题的解决方案。 · 2.是Doug根据谷歌的论文《Google MapReduce》实现了Hadoop中基于HDFS的MapReduce · 3.MapReduce主要分为两个阶段:Map和Reduce。 简单的工作流程为:...原创 2019-01-10 23:42:28 · 246 阅读 · 0 评论 -
Shuffle原理
· MapReduce是怎样为数据进行分组,整合等操作的呢?这就涉及到Map和Reduce在中间十分关键的衔接部分Shuffle。 上面介绍了Map 和 Reduce的各自的任务和总的流程,MapReduce是怎样为数据进行分组,整合等操作的呢?这就涉及到Map和Reduce在中间十分关键的衔接部分Shuffle。 什么是shuffle?shuffle原意是洗牌,混乱。而在MapReduce...原创 2019-01-10 23:49:40 · 311 阅读 · 0 评论