- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hadoop-2.6.0 DFSClient Hedged Read实现分析
一、简介 DFSClient Hedged Read是Hadoop-2.4.0引入的一个新特性，如果读取一个数据块的操作比较慢，DFSClient Hedged Read将会开启一个从另一个副本的hedged读操作。我们会选取首先完成的操作，并取消其它操作。这个Hedged读特性将有助于控制异常值，比如由于命中一个坏盘等原因而需要花费较长时间的异常阅读等。二、开启 DFSCli
2016-11-29 18:05:19
3935
原创 《Redis设计与实现》阅读：Redis底层研究之哈希表hashtable
字典是一种存储键值对的抽象数据结构，其又被称为符号表（symbol table）、关联数组（associative array）或映射（map）。Redis使用字典存储键值对，而Redis在底层是通过自定义的哈希表来实现字典这一数据结构的。本文，我们将研究Redis中哈希表的实现。
2016-11-29 16:15:44
2322
原创 Hadoop-2.6.0NodeManager Restart Recover实现分析（二）
继上篇《Hadoop-2.6.0NodeManager Restart Recover实现分析（二）》。 4、NMLeveldbStateStoreService实现分析 在 1）、initStorage() initStorage()方法中，完成了存储相关的初始化，如下： @Override protected void initStorage(Co
2016-11-29 14:04:35
1033
原创 Hadoop-2.6.0NodeManager Restart Recover实现分析（一）
一、简介 This document gives an overview of NodeManager (NM) restart, a feature that enables the NodeManager to be restarted without losing the active containers running on the node. At a high level,
2016-11-29 13:38:13
1916
原创 NM Restart Design Overview
This document describes the design of the NodeManager restart work under YARN1336 and its subJIRAs. NM restart is a feature where the NodeManager can be restarted without losing the active containe
2016-11-28 14:27:51
609
原创 Hadoop-2.6.0 CPU CGroup实现分析
一、概述二、实现细节 1、CgroupsLCEResourcesHandler配置 2、setupLimits()核心实现 3、clearLimits()核心实现一、概述 Hadoop-2.6.0中对CPU CGroups的实现，主要是通过CgroupsLCEResourcesHandler来实现的，通过它的int*()系列方法初始化一些参数和环境，比如C
2016-11-28 10:58:21
1280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人