Hadoop基础之HDFS

原创 2016年05月31日 20:13:17

Hadoop基础之HDFS

      HDFShadoop的分布式文件系统,是一个高度容错性的系统(做了冗余),适合部署在廉价的机器上。可以提供高吞吐量的数据访问,适合大规模数据集上的应用。

      简单结构:DateNode+NameNode

      设计思路:个人理解,首先从宏观来说,DN做集群,数据做冗余,这样使得hdfs的容错性增加,NN的设计有点类似jvm中的栈,以及Dubbo的注册中心,用于存放真正数据或者说组件和存放组件的详细信息(元数据)分离,这样数据请求要先在NN中找到自己想要的组数据信息(存在哪个DN?哪个Block?等)但是NN不转发请求,这样就减少了NN的压力,这种设计让整个框架变得更加灵活。有点像IOCxml配置,想要动态增加组件,只需要分别增加组件实体和元数据即可。

      整体框架:

      Block作为hdfs的数据存储单元,每个文件按照大小切分成若干个Block,存储在不同节点上,默认情况下每个block都有三个副本,存放在不同的DN上。

      NameNode接收客户端的读写服务,保存DN以及Block的详细信息。

      DateNode存储block,并且在启动的时候向NN汇报block信息,通过向NN发送心跳保持与其联系,如果NN10分钟没有收到DN的心跳,则认为DN已经死掉,并copy其上的block到其他DN上。  

版权声明:本文为博主原创文章,未经博主允许不得转载。

Hadoop 基础知识---之HDFS篇

HDFS基础知识 HDFS简介 起源       源于Google发布的GFS论文 HDFS是Hadoop DistributeFile System 的简称,是Hadoop的一个分布式文件系统。 ...
  • bigdata_player
  • bigdata_player
  • 2016年07月17日 15:11
  • 1858

一篇很好的Hadoop入门文章:Hadoop是什么、核心HDFS与MapReduce的原理

Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我...
  • zhangliangzi
  • zhangliangzi
  • 2016年07月30日 10:12
  • 3630

Hadoop教程(三):HDFS、MapReduce、程序入门实践

Hadoop 附带了一个名为 HDFS(Hadoop分布式文件系统)的分布式文件系统,基于 Hadoop 的应用程序使用 HDFS 。HDFS 是专为存储超大数据文件,运行在集群的商品硬件上。它是容错...
  • GarfieldEr007
  • GarfieldEr007
  • 2015年12月11日 12:57
  • 2494

Hadoop基础教程-第4章 HDFS的Java API(4.5 Java API介绍)

第4章 HDFS的Java API4.5 Java API介绍4.5.1 Java API 官网Hadoop 2.7.3 Java API官方地址 http://hadoop.apache.org/...
  • chengyuqiang
  • chengyuqiang
  • 2017年05月18日 22:50
  • 639

Hadoop基础教程-第4章 HDFS的Java API(4.2 Eclipse+Maven)

第4章 HDFS的Java API4.2 Eclipse+Maven4.2.1 Eclipse的Maven配置目前的eclipse-javee版本已经自带maven插件了 winows–>pref...
  • chengyuqiang
  • chengyuqiang
  • 2017年05月15日 21:59
  • 758

Hadoop基础教程-第4章 HDFS的Java API(4.3 pom.xml解析)

第4章 HDFS的Java API4.3 pom.xml解析4.3.1 Maven库https://mvnrepository.com/4.3.2 添加Hadoop的依赖在pom.xml文件里添加ha...
  • chengyuqiang
  • chengyuqiang
  • 2017年05月16日 22:54
  • 1358

Hadoop学习(2):集群的常用操作和分布式文件系统HDFS基础

目前的环境:   整个集群共有四台机器,分别是:     192.168.56.100  master  NameNode     192.168.56.101  slave1  DataNode  ...
  • wannafly1995
  • wannafly1995
  • 2018年01月03日 20:40
  • 67

Hadoop基础教程-第9章 HA高可用(9.3 HDFS 高可用运行)(草稿)

第9章 HA高可用9.3 HDFS 高可用运行9.3.1 HA节点规划 节点 IP Zookeeper NameNode JournalNode DataNode node1...
  • chengyuqiang
  • chengyuqiang
  • 2017年07月12日 22:21
  • 737

Hadoop基础教程-第4章 HDFS的Java API(4.7 Java API封装类)(草稿)

第4章 HDFS的Java API4.7 Java API封装类package cn.hadron.hdfsDemo;import java.io.IOException; import java.i...
  • chengyuqiang
  • chengyuqiang
  • 2017年05月21日 21:25
  • 1068

Hadoop基础教程-第9章 HA高可用(9.1 HDFS 高可用介绍)(草稿)

第9章 HA高可用9.1 HDFS 高可用介绍HA(High Availability)高可用HDFS高可用配置官方参考网址 http://hadoop.apache.org/docs/r2.7.3...
  • chengyuqiang
  • chengyuqiang
  • 2017年07月08日 17:27
  • 385
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop基础之HDFS
举报原因:
原因补充:

(最多只允许输入30个字)