Hadoop基础之HDFS

原创 2016年05月31日 20:13:17

Hadoop基础之HDFS

      HDFShadoop的分布式文件系统,是一个高度容错性的系统(做了冗余),适合部署在廉价的机器上。可以提供高吞吐量的数据访问,适合大规模数据集上的应用。

      简单结构:DateNode+NameNode

      设计思路:个人理解,首先从宏观来说,DN做集群,数据做冗余,这样使得hdfs的容错性增加,NN的设计有点类似jvm中的栈,以及Dubbo的注册中心,用于存放真正数据或者说组件和存放组件的详细信息(元数据)分离,这样数据请求要先在NN中找到自己想要的组数据信息(存在哪个DN?哪个Block?等)但是NN不转发请求,这样就减少了NN的压力,这种设计让整个框架变得更加灵活。有点像IOCxml配置,想要动态增加组件,只需要分别增加组件实体和元数据即可。

      整体框架:

      Block作为hdfs的数据存储单元,每个文件按照大小切分成若干个Block,存储在不同节点上,默认情况下每个block都有三个副本,存放在不同的DN上。

      NameNode接收客户端的读写服务,保存DN以及Block的详细信息。

      DateNode存储block,并且在启动的时候向NN汇报block信息,通过向NN发送心跳保持与其联系,如果NN10分钟没有收到DN的心跳,则认为DN已经死掉,并copy其上的block到其他DN上。  

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hadoop基础教程-第4章 HDFS的Java API(4.2 Eclipse+Maven)

第4章 HDFS的Java API4.2 Eclipse+Maven4.2.1 Eclipse的Maven配置目前的eclipse-javee版本已经自带maven插件了 winows–>pref...

Hadoop基础教程-第4章 HDFS的Java API(4.5 Java API介绍)

第4章 HDFS的Java API4.5 Java API介绍4.5.1 Java API 官网Hadoop 2.7.3 Java API官方地址 http://hadoop.apache.org/...

Hadoop基础教程-第4章 HDFS的Java API(4.3 pom.xml解析)

第4章 HDFS的Java API4.3 pom.xml解析4.3.1 Maven库https://mvnrepository.com/4.3.2 添加Hadoop的依赖在pom.xml文件里添加ha...

Hadoop基础教程-第9章 HA高可用(9.3 HDFS 高可用运行)(草稿)

第9章 HA高可用9.3 HDFS 高可用运行9.3.1 HA节点规划 节点 IP Zookeeper NameNode JournalNode DataNode node1...

Hadoop基础教程-第4章 HDFS的Java API(4.7 Java API封装类)(草稿)

第4章 HDFS的Java API4.7 Java API封装类package cn.hadron.hdfsDemo;import java.io.IOException; import java.i...

Hadoop基础教程-第4章 HDFS的Java API(4.6 Java API应用)(草稿)

第4章 HDFS的Java API4.6 Java API应用4.6.1 上传文件先在本地(客户端)一个文件,比如在D盘下新建一个word2.txt文件,内容随便写test node node Had...

Hadoop基础教程-第9章 HA高可用(9.2 HDFS 高可用配置)(草稿)

第9章 HA高可用9.2 HDFS 高可用配置要配置HA NameNodes,必须在hdfs-site.xml配置文件中添加多个配置选项。

Hadoop基础之RPC机制以及HDFS源码分析

1.1.概述 RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。...

Hadoop基础教程-第9章 HA高可用(9.1 HDFS 高可用介绍)(草稿)

第9章 HA高可用9.1 HDFS 高可用介绍HA(High Availability)高可用HDFS高可用配置官方参考网址 http://hadoop.apache.org/docs/r2.7.3...

Hadoop基础教程-第4章 HDFS的Java API(4.1 Maven入门)

第4章 Eclipse+Hadoop4.1 Maven入门参考文章:https://my.oschina.net/huangyong/blog/1945834.1.1 Maven简介Apache Ma...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)