HDFS小结

原创 2013年12月02日 15:53:17
1、HDFS: Motivation:
(1)Based on Google’s GFS
(2)Redundant storage of massive amounts of data on cheap and unreliable computers
(3)Why not use an existing file system? 
        – Different workload and design priorities;
        – Handles much bigger dataset sizes than other filesystems
2、HDFS Design Decisions
(1)Files stored as blocks-Much larger size than most filesystems (default is 64MB)
(2)Reliability through replication
           – Each block replicated across 3+ DataNodes
(3)Single master (NameNode) coordinates access, metadata
           – Simple centralized management
(4)No data caching-– Little benefit due to large data sets, streaming reads
(5)Familiar interface, but customize the API
          – Simplify the problem; focus on distributed apps
3、HDFS Client Block Diagram
4、Based on GFS Architecture
5、Metadata
(1)Single NameNode stores all metadata
          – Filenames, locations on DataNodes of each file
(2)Maintained entirely in RAM for fast lookup
(3)DataNodes store opaque file contents in “block” objects on underlying local filesystem
6、HDFS Conclusions
(1)HDFS supports large-scale processing workloads on commodity hardware
            –designed to tolerate frequent component failures;
            –optimized for huge files that are mostly appended and read
           – filesystem interface is customized for the job, but still retains familiarity for developers
           – simple solutions can work (e.g., single master)
(2)Reliably stores several TB in individual clusters

相关文章推荐

(2-3)DateNode+小结HDFS

DateNode        提供真实文件数据的存储服务。        文件块(block):最基本的存储单位。【为了保证数据的读写比较快,将数据切成块】对于文件内容而言,一个文件的长度大小是...

Java学习IO流小结--字节流

  • 2015年07月11日 14:59
  • 218KB
  • 下载

CSS小结有关整体

  • 2014年10月25日 19:31
  • 36KB
  • 下载

日常小结-java静态类及其应用

概述静态类的三个主要特效、常用的使用方式以及设计思想。

蜂鸣器小结1

  • 2012年11月08日 21:58
  • 278B
  • 下载

MM4小结 MM4机器测试步骤

  • 2013年12月09日 21:20
  • 1.75MB
  • 下载

angularJS学习小结——filter

引言    filter过滤器对于我们来说并不陌生,他和我们现实生活中的过滤器的意思差不多,它的作用就是接收一个输 入的值,然后按照某个规则进行处理然后输出最后的结果,例如我们输入一个数字,然...

VB编程经验小结doc

  • 2014年07月21日 03:12
  • 537KB
  • 下载

HTML小结文档

  • 2013年07月29日 14:58
  • 42KB
  • 下载

MQTT-SN协议乱翻之小结篇,MQTT与MQTT-SN区别对比

MQTT-SN协议乱翻之小结篇 前言 这里简单做一些小结和对比,针对前面的协议翻译部分,一阶段的学习完结。 MQTT-SN VS MQTT MQTT-SN基于MQTT原有语义,...
  • samxx8
  • samxx8
  • 2017年01月04日 15:26
  • 1554
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HDFS小结
举报原因:
原因补充:

(最多只允许输入30个字)