Hadoop
sean_spring
这个作者很懒,什么都没留下…
展开
-
Yarn 资源调度框架
目录(yarn)本质(是什么)作用(干什么)架构(有什么)ResourceManager(RM)NodeManagerApplicationMaster(AM)Container流程(怎么运作)优缺点优点缺点常用(必会)常见问题(必知)异议本质(是什么)资源调度框架作用(干什么)架构(有什么)ResourceManager(RM)管理整个集群资源NodeManager启动完成后向R...原创 2019-11-02 15:29:38 · 154 阅读 · 0 评论 -
MapReduce 分布式计算框架
目录(MapReduce)本质(是什么)作用(干什么)优缺点优点缺点架构(有什么)流程(怎么运作)常用(必会)常见问题(必知)异议本质(是什么)分布式计算框架,是一种编程模型作用(干什么)离线大数据计算,主要解决海量离线数据的批处理。优缺点优点易于编程(简单实现了一些接口,就可以完成一个分布式程序)良好的扩展性(可以增加机器)高容错性(计算任务可以从一个节点转移到另一个节点)适...原创 2019-11-01 15:37:52 · 374 阅读 · 0 评论 -
HDFS Hadoop分布式文件系统
本质文件存储系统,相当于磁盘上的磁盘,可以看成磁盘一体。作用三个重要作用:存储超大的文件、采用流式的数据访问方式、运行于商业硬件上架构架构分为1.X和 2.X架构 2.X解决了1.X的问题1.X架构2.X高可用架构1.X和2.X对比1、namenode 存储块儿的元数据、接收客户端的读写请求、获取block快的位置2、datanode 存储block、存储bloc...原创 2019-10-30 17:20:35 · 152 阅读 · 0 评论