大数据
王慧龙
这个作者很懒,什么都没留下…
展开
-
Hadoop简单介绍
一、Hadoop的起源 Hadoop是Google的集群系统的开源实现 (1)Google集群系统:GFS(Google File System), MapReduce, BigTable (2)Hadoop主要由HDFS(Hadoop Distributed File System Hadoop分布式文件系统),MapReduce和HBase组成 Hadoop的初衷是为解原创 2016-02-03 18:24:09 · 424 阅读 · 0 评论 -
Hadoop分布式文件系统——HDFS
一、HDFS介绍 图片摘自尚学堂hadoop视频教程 HDFS为了做到可靠性(reliability)创建了多份数据块(data blocks)的复制(repiicas) ,并将它们放置在服务器群的计算节点中(compute nodes),MapReduce就可以在 它们所在的节点上处理这些数据了。 NameNode (1)存储元数据 (2)元数据保存在内存中 (3)保存文件,block,datanode之间的原创 2016-02-04 19:56:39 · 746 阅读 · 0 评论