Hadoop
sean_spring
这个作者很懒,什么都没留下…
展开
-
Yarn 资源调度框架
目录(yarn)本质(是什么)作用(干什么)架构(有什么)ResourceManager(RM)NodeManagerApplicationMaster(AM)Container流程(怎么运作)优缺点优点缺点常用(必会)常见问题(必知)异议 本质(是什么) 资源调度框架 作用(干什么) 架构(有什么) ResourceManager(RM) 管理整个集群资源 NodeManager 启动完成后向R...原创 2019-11-02 15:29:38 · 140 阅读 · 0 评论 -
MapReduce 分布式计算框架
目录(MapReduce)本质(是什么)作用(干什么)优缺点优点缺点架构(有什么)流程(怎么运作)常用(必会)常见问题(必知)异议 本质(是什么) 分布式计算框架,是一种编程模型 作用(干什么) 离线大数据计算,主要解决海量离线数据的批处理。 优缺点 优点 易于编程(简单实现了一些接口,就可以完成一个分布式程序) 良好的扩展性(可以增加机器) 高容错性(计算任务可以从一个节点转移到另一个节点) 适...原创 2019-11-01 15:37:52 · 348 阅读 · 0 评论 -
HDFS Hadoop分布式文件系统
本质 文件存储系统,相当于磁盘上的磁盘,可以看成磁盘一体。 作用 三个重要作用:存储超大的文件、采用流式的数据访问方式、运行于商业硬件上 架构 架构分为1.X和 2.X架构 2.X解决了1.X的问题 1.X架构 2.X高可用架构 1.X和2.X对比 1、namenode 存储块儿的元数据、接收客户端的读写请求、获取block快的位置 2、datanode 存储block、存储bloc...原创 2019-10-30 17:20:35 · 142 阅读 · 0 评论