- 博客(2)
- 收藏
- 关注
RSS订阅原创 不可不知的资源管理调度器Hadoop Yarn
Yarn（Yet Another Resource Negotiator）是一个资源调度平台，负责为运算程序如Spark、MapReduce分配资源和调度，不参与用户程序内部工作。同样是Master/Slave架构。 以下图MapReduce提交到Yarn上运行为例，看看Yarn主要包括哪些核心组件以及每个组件的作用： 全局资源管理器（ResourceManager） 主节点，全局资源管理器，负...
2020-01-20 20:32:03
344
原创 NameNode主备宕机引发的思考
大家都知道在双十一这些电商大型营销活动期间，电商网站的访问量等是平时的N倍。每当这个时候到来，无论是开发还是运维人员都严阵以待生怕服务出现问题。很不幸，笔者的一个朋友在一家电商公司上班，在双十一时，恰恰就出现了NameNode宕机的生产事故。 鉴于涉及到一些公司私密信息，不便发一些排查问题截图，同时，JVM调优作为大数据从业者必备技能，笔者打算后续分篇系统阐述，这里仅就问题现象、问题分析、解决方案...
2020-01-13 20:49:29
478
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人