Hadoop
Hadoop生态及原理应用
AudreyHepburn?Yui Aragaki
这个作者很懒,什么都没留下…
展开
-
Hadoop双机热备用HA实现
双 NameNode(HA)实现原理双NN出现背景在 Hadoop1.x 版本中,HDFS 只支持一个 NameNode,为了保证稳定性,只能靠 SecondaryNameNode 来实现,而 SecondaryNameNode 不能做到热备,而且恢复的数据也不是最新的元数据。基于此,从 Hadoop2.x 版本开始,HDFS 开始支持多个 NameNode,这样不但可以实现 HDFS 的高可用性(HA,High Availability),而且还可以横行扩容 HDFS 的存储规模。故而在实际的企业应原创 2020-07-18 22:21:45 · 550 阅读 · 0 评论 -
Hadoop生态简介
玩转大数据之Hadoop生态圈起底Hadoop生态圈HDFS(Hadoop 分布式文件系统)MapReduce(分布式计算模型)离线计算Yarn(分布式资源管理器)Spark(内存计算)HBase(分布式列存储数据库)Hive(数据仓库)Oozie(工作流调度器)Sqoop 与 PigFlume(日志收集工具)Kafka(分布式消息队列)ZooKeeper(分布式协作服务)Ambari(大数据运维工具)Hadoop生态圈Hadoop 是 Apache 下的一个开源项目,说起 Hadoop,通常都会跟“大原创 2020-07-18 17:10:59 · 304 阅读 · 0 评论 -
YARN主从架构的实现
YARN 是 Hadoop 2.0 引入的统一资源管理和调度系统,也很具有代表性,目前 Spark on YARN 这种模式也在大量使用。YARN 的架构是典型的主从架构,主节点是 ResourceManger,也是我们前面说的主调度器,所有的资源的空闲和使用情况都由 ResourceManager 管理。ResourceManager 也负责监控任务的执行,从节点是 NodeManager,主要负责管理 Container 生命周期,监控资源使用情况等 ,Container 是 YARN 的资源表示模型原创 2020-08-16 20:15:22 · 2074 阅读 · 0 评论