hadoop
wanhf11
无。
展开
-
yarn 调度策略学习记录
yarn 调度器类型 FIFO 先进先出调度器 Capacity 容量调度器 Fair 公平调度器 FIFO 先进先出调度器 特点:小任务容易阻塞,大任务会占用所有资源,不适合共享集群。 Capacity 容量调度器 特点:单独预留容量,保证小任务一提交就能马上启动,整体资源利用率不高,大作业执行时间要更长。 容量调度器允许多个组织共享hadoop集群,每个组织被分配专门的队列...原创 2018-04-30 18:09:23 · 207 阅读 · 0 评论 -
hadoop 序列化压缩
hadoop 序列化和 Java 序列化的区别 Java 序列化的特点: 序列化的信息非常详细,包括类信息等,而这决定了Java序列化很占内存和并且并不高效(相对于hadoop序列化)。 Java 序列化的时候在不断创建对象,对GC回收压力大 Hadoop 序列化的特点: 1. 减少无用信息序列化 2. 序列化对象可重用 3. 自己实现序列化,可以更好控制扩展,例如proto、av...原创 2018-05-01 13:30:10 · 214 阅读 · 0 评论 -
Hadoop 相关指标意义
Configured Capacity = 磁盘可用空间 - datanode保留不使用的空间(dfs.datanode.du.reserved - 有可能预留空间做其他操作例如map的shuffle,默认为0),异常将导致无法写入文件 DFS Used = HDFS 已经使用空间 DFS Remaining = HDFS 剩余空间 Non DFS Used = Configured Capac...原创 2018-05-06 11:39:12 · 996 阅读 · 0 评论 -
Hadoop failed 和 killed 原因
参考链接原创 2018-05-21 17:21:39 · 772 阅读 · 0 评论