大数据绝大多数框架,都是Apache顶级项目
Hadoop官网:
hadoop.apache.org
分布式:
相对于集中式
需要多台机器,协调完成任务
架构:
主节点Master
老大,管理者
从节点slave
从节点,从属,奴隶,被管理者
HDFS:Hadoop Distributed File System
主节点:nameNode
一个,活跃的一个(active),有一个备胎(standby)
作用:决定数据存储到那个DataNode上
从节点:DataNode --多个
作用:存储数据,管理数据
MapReduce:
分而治之
将海量的数据划分为多部分,对每一部分进行单独的处理,
最后对处理的结果进行合并
- map map task
单独处理每一部分的数据,
对于Java oop,就是对应一个方法
- rdudce reduce task
合并所有map taskd 结果
YARN:分布式资源管理框架
负责管理 集群各个机器的 资源(CPU、memory),
并且合理调度分配给各个程序使用(MapReduce程序)
主节点:ResourceManager
作用:管理集群的资源
从节点:NadeManager
作用:管理当前NadeManager所在的节点
总结:
Hadoop框架的安装部署,
都是属于JAVA进程,启动了JVM进程,运行服务
Hdfs:存储数据,为分析提供数据
NameNode/dataNode
Yarn:提供程序运行的资源
ResouceManager/NodeManager
07-08
07-07
07-08
07-08
07-07
“相关推荐”对你有帮助么?
-
非常没帮助
-
没帮助
-
一般
-
有帮助
-
非常有帮助
提交