Hadoop

分布式

分布式概念  分布式是指将多台服务器集中在一起,每台服务器都实现总体中的不同业务,做不同的事情

单机模式 该模式可以形象的比喻为:一个餐厅的厨房只有一个人,这个人既要买菜、又要切菜、还要炒菜,效率很低!

分布式模式 该模式可以形象的比喻为:一个餐厅的厨房有三个人,一个人买菜、一个人切菜、一个人炒菜,效率提高了!

集群概念 所谓集群是指一组独立的计算机系统构成的一多处理器系统,它们之间通过网络实现进程间的通信,让若干台计算机 联合起来工作(服务),可以是并行的,也可以是做备份。

分布式的基础架构 数量多,在现实生活中往往带来的不是提升,而是:混乱。

去中心化模式 去中心化模式,没有明确的中心。 众多服务器之间基于特定规则进行同步协调。

主从模式 一主多从模式,简称主从模式

分布式和集群区别? 分布式 :分布式的主要工作是分解任务,将职能拆解,多个人在一起做不同的事 集群:集群主要是将同一个业务,部署在多个服务器上 ,多个人在一起做同样的事

Hadoop是哪种分布式架构模式? 主从模式(中心化模式)的架构

Hadoop指Apache这款开源框架,它的核心组件有:

➢ HDFS(分布式文件系统):解决海量数据存储

➢ MAPREDUCE(分布式运算编程框架):解决海量数据计算

➢ YARN(作业调度和集群资源管理的框架):解决资源任务调度

广义解释 广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈

Hadoop模块之间的关系

➢ MapReduce计算需要的数据和产生的结果需要HDFS来进行存储

➢ MapReduce的运行需要由Yarn集群来提供资源调度。

hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。

➢ HDFS集群 NameNode、DataNode、SecondaryNameNode

➢ YARN集群 ResourceManager、NodeManager ⚫

  • 16
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值