初识Hadoop及其名词解释---Hadoop学习(1)

今天开始学习hadoop的基本机制和基础知识,之前也迷迷糊糊在Ubuntu上配置过hadoop但是根本不懂很多配置参数和操作的原因,所以此次学习旨在真正地认识hadoop以及会它的一些用法。至少要知道我们用的所谓分布式计算工具,到底是什么,又由什么组成?用的书是《Hadoop基本教程》,感觉作者写的详细又不难懂。
1.元素组成
(1).HDFS(Hadoop Distributed FIle Sustem):即hadoop的分布式文件系统,以最小64MB的数据块存储文件,其中每一个存储节点上都有一个DataNode进程,由NameNode来进行协调(稍后会说到NameNode和DataNode这类Hadoop中节点名称的功能和解释)。
(2)MapReduce:Map是映射的意思,Reduce则可翻译为缩减。由此可知这个技术分为两个操作,map和reduce。简单来说,map将键值对形式的数据重新组合成新的键值对,而reduce 函数用来对键值对列表进行汇总。MapReduce使用的是分而治之的思路。
(3)hadoop上的节点
1.NameNode:NameNode是HDFS上的主节点,用于调度作业和移动数据块。
2.DataNode:DataNode是HDFS上的进程,负责从NameNode上接受指令。
3.JobTracker:是Mapreduce上的主节点,也是用来调度作业。
4.JobTask:是Mapreduce上的进程,负责接受指令和报告状况。
总之,主节点作用主要是调度和分发数据块,而进程的作用是负责报告节点机器的状态和接受主节点的调度,Hadoop上的主要四个节点的作用就是如此。
2.Hadoop的三种模式
(1).本地独立模式:是hadoop的默认配置模式,h

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值