hadoop学习笔记
Sincere_Cry
爱写程序的小学生
展开
-
Hadoop学习笔记之HDFS
HDFS基本概念HDFS是Hadoop Distribute File System 的简称,是Hadoop的一个分布式文件系统。 分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。HDFS组件构成Namenode & Secondary Namenode负原创 2017-04-17 16:19:55 · 558 阅读 · 0 评论 -
Hadoop学习笔记之MapReduce
MapReduce基本概念 MapReduce是一种分布式计算模型,是Google提出的,主要用于搜索领域,解决海量数据的计算问题。 MR有两个阶段组成:Map和Reduce,用户只需实现map()和reduce()两个函数,即可实现分布式计算。 Mapreduce相关术语 作业(Job):用户的每一个计算请求,就称为一个作业。 作业服务器(JobTracker):用户提交作业的服务器,同时,它还原创 2017-04-17 17:13:01 · 560 阅读 · 0 评论