大数据
王慧龙
这个作者很懒,什么都没留下…
展开
-
Hadoop简单介绍
一、Hadoop的起源Hadoop是Google的集群系统的开源实现(1)Google集群系统:GFS(Google File System), MapReduce, BigTable(2)Hadoop主要由HDFS(Hadoop Distributed File System Hadoop分布式文件系统),MapReduce和HBase组成Hadoop的初衷是为解原创 2016-02-03 18:24:09 · 438 阅读 · 0 评论 -
Hadoop分布式文件系统——HDFS
一、HDFS介绍 图片摘自尚学堂hadoop视频教程HDFS为了做到可靠性(reliability)创建了多份数据块(data blocks)的复制(repiicas),并将它们放置在服务器群的计算节点中(compute nodes),MapReduce就可以在它们所在的节点上处理这些数据了。NameNode(1)存储元数据(2)元数据保存在内存中(3)保存文件,block,datanode之间的原创 2016-02-04 19:56:39 · 759 阅读 · 0 评论