Hadoop
文章平均质量分 94
仙姝
这个作者很懒,什么都没留下…
展开
-
YARN
yarn的出现Hadoop1.x只由hdfs和mapreduce组成,其中MapReduce由一个JobTracker和多个TaskTracker组成。JobTracker负责资源管理和所有作业的控制,TaskTracker负责接收来自JobTracker的命令并执行它。后来Hadoop升级,Hadoop2.x框架包括三个模块:hdfs:分布式文件存储系统mapreduce:分布式计算框架yarn:资源调度系统其中yarn就是将第一代的MapReduce中的JobTracker分离出来做成的原创 2021-03-29 23:21:29 · 317 阅读 · 0 评论 -
Hadoop基本架构
说说你对集群概念的理解?集群是多个服务器组成的一个群体,这些服务器做相同类型任务。好比饭店做饭一个厨师忙不过来,又请了个厨师,两个厨师都能炒一样的菜,这两个厨师的关系是集群;切菜,备菜,备料一个配菜师忙不过来,又请了个配菜师,两个配菜师关系是集群。说说你对Hadoop的可靠、可扩展、分布式计算的理解?因为HDFS存储的时候会有备份,所以说它可靠。存不下的话可以用加磁盘或加机器的方式来解决,这就是存储可扩展。计算太复杂,通过加机器来加快计算速度,也是可以扩展,这也可以理解为分布式计算。比如原创 2021-01-06 22:07:30 · 1993 阅读 · 4 评论