- 博客(4)
- 资源 (7)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 李亚坤：Hadoop YARN在字节跳动的实践
【IT168 专稿】本文根据李亚坤老师在2018年10月17日【第十届中国系统架构师大会】现场演讲内容整理而成。 讲师简介： 李亚坤，哈工大硕士，目前从事分布式计算资源调度系统YARN的研发支持工作，支撑了包括今日头条、抖音短视频、火山小视频、西瓜视频等一系列产品的离线、流式计算任务。 摘要： 字节跳动公司的今日头条、抖音短视频、火山小视频、西瓜视频等一系列产品，在最近几年内数据量一...
2020-11-26 18:28:45
599
转载 ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析
面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> 环境 Hadoop版本：Apache Hadoop 2.6.3ZooKeeper版本：ZooKeeper 3.4.10两个ResourceManager节点：主节点RM01，从节点RM02 背景 最近有一次我们的Hadoop监控平台发出ResourceManager（以下简称RM）崩溃的报警信息，于是我...
2020-11-24 11:59:54
206
原创 深入理解 YarnFairSchedule 中的饥饿抢占
文章目录饥饿饥饿的两种类型FairShare 饥饿MinShare 饥饿抢占要抢占的ContainerCode 饥饿 由于 FairSchedule 具有弹性功能，因此对列中运行的应用程序可能使得其他应用程序(在同一队列或不同队列)处于饥饿状态； 在如下例子中，假设仅 tenant1 和 tenant2 队列处于active状态，分别使用了33.3%和66.6%的资源。随后tenant3也变为active状态，则 队列的 Instantaneous FairShare 将分别变为 25%、50%、25%。但
2020-11-20 18:11:46
675
深入理解Java虚拟机+JVM高级特性与最佳实践(第二版)（文本版内容可复制）.zip
2019-05-13
java编程思想中的源码与net.mindview.util.Print.*jar包
2019-02-28
springsource-tool-suite-3.9.7.RELEASE-e4.9.0-updatesite
2019-02-14
虚拟机中windows7安装不了VMware Tool
2018-11-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人