产品经理学大数据——大数据软件框架:Hadoop框架(1)之HDFS

Hadoop是Apache的子项目,是一个分布式系统基础架构,它主要是用于大数据的处理。Hadoop所提供的分布式文件系统(HDFS)实现了大规模的存储(在所有计算节点上分布式存储50TB数据),这为整个集群带来了非常高的带宽,因此能大大提高效率。Hadoop可以让用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。

  • Hadoop框架

Hadoop框架使用Java编写的,它的核心是HDFS(Hadoop分布式文件系统)和MapReduce。HDFS为大数据提供了存储,MapReduce为大数据提供了计算。

Hadoop框架包括Hadoop内核、MapReduce、HDFS和Hadoop YARN等。Hadoop也是一个生态系统,在这里面有很多组建。除了HDFS和MapReduce,有NoSQL数据库的HBase,有数据仓库工具Hive,有Pig工作流语言,有机器学习算法库Mahout,有在分布式系统中扮演重要角色的Zookeeper,有内存计算框架的Spark,有数据采集的Flume和Kafka。总之,用户可以在Hadoop平台上开发和部署任何大数据应用程序。

  • HDFS(分布式文件系统)

HDFS是Hadoop Distribute File System的简称,是Hadoop的一个分布式文件系统。在海量数据的处理中,我们经常碰到一些大文件(几百GB甚至TB级别)。在肠胃的系统上,这些大文件的读和写需要花费大量的时间。HDFS优化了大文件的流式读取方式,它把一个大文件分隔成一个或者多个数据块(默认大小为64MB),分发到集群的节点上,从而实现了高吞吐量的数据访问,这个集群拥有几百个节点, 并支持千万级别的文件。因此HDFS非常适合大规模数据集上的应用。

HDFS使用一种机架位感知的办法,先把一份拷贝放入同机架上的机器,然后再拷贝分到其他服务器,这台服务器也许是位于不同的数据中心的,这样,如果某个数据点坏了,就从另一个机架上调用。除了机架位感知的办法,现在还有基于erasure code(一种编码存储技术)的方法。这种方法本来是用于通信容错领域的办法,可以节约空间又达到容错的目的。

  • 名字节点和数据节点

HDFS是一个主从结构。一个HDFS集群是有一个名字节点(NameNode)和多个数据节点(DataNode)组成,它们通常配置在不同的机器上。HDFS将一个文件分割成一个或多个块,这些块被存储在一组数据节点中。名字节点用来操作文件命名空间的文件或目录操作,如:打开、关闭、重命名等等,它同时确定块与数据节点的映射。数据节点负责来自文件系统客户的读写请求。数据节点同时还要执行块的创建、删除,以及来自名字节点的块复制指令。

一个名字节点保存着集群上所有文件的目录树,以及每个文件数据块的位置信息。它是一个管理文件命名空间和客户端访问文件的主服务器,但是它不真正存储文件数据本身。

数据节点通常是一个节点或一个机器,它用来真正地存放文件数据(和复制数据),管理着从NameNode分配过来的数据块,并管理对应节点的数据存储。

HDFS对外开放文件命名空间并允许用户数据以文件形式存储。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值