- 博客(20)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅
转载 UnderReplicatedBlocks处理流程
此图基本解释清楚了hdfs处理block副本不足、分布不合理的流程。https://my.oschina.net/u/3987818/blog/3100408
2019-09-01 13:12:29
498
转载 LightWeightGSet(hadoop namenode 保存block的数据结构)
为了降低保存block的内存开销，同时保证访问效率，namenode使用 LightWeightGSet这一数据结构。LightWeightGSet同HashMap一样使用数组 + 链表的结构，但是有几点不同：数组长度初始化时就确定了，以后不会再变化，所有没有rehash。 本质上不是key/value存储结构。value是key的子类，所以value自身就包含了key的信息，通过key...
2019-08-24 12:07:27
301
转载 hadoop SLA
hadoop sla(Service Level Authorization)核心源码分析https://my.oschina.net/u/3987818/blog/3093732
2019-08-20 09:26:29
165
转载 hdfs Balancer剖析
HDFSBalancer原理、核心代码剖析、常见问题诊断。https://my.oschina.net/u/3987818/blog/3086282
2019-08-11 10:51:58
287
转载 hdfs元数据文件(fsimage、edits)清理
https://my.oschina.net/u/3987818/blog/2223371
2018-10-20 00:39:21
1430
转载 Standby Namenode Checkpoint过程剖析
https://my.oschina.net/u/3987818/blog/2245016
2018-10-14 08:27:33
452
LocalJobRunner
hadoop作业分本地模式和分布式模式两种执行模式，JobClient初始化时会读取配置项mapred.job.tracker(默认为local)，如果该配置项的值为local，则hadoop采本地模式执行作业，否则采用分布式模式执行。本地模式使用LocalJobRuner提交并执行作业。对LocalJobRunner实例调用submitJob( )方法会创建Job(LocalJ...
2014-07-08 00:01:05
639
原创 MapReduce读取数据
MapReduce处理数据的基本原则之一就是将输入数据分割成片(split)，按片读取数据，每个分片交由一个Mapper去做处理。注意，输入分片只是一种逻辑划分，有别于hdfs的数据分块(block)，数据分块是数据的物理划分。InputFormat类抽象出了数据分片和读取这两个操作，具体实现交由子类去完成，除了hadoop默认提供的一些子类之外，我们可以自己根据实际需要进行扩...
2014-07-06 19:27:45
1167
1
java字符流
阅读hdfs的源码看到有对java流进行扩展来对文件、文件块进行读写，顺便就将流这一块再次梳理一下。前面已经从类图上简要介绍了字节流，现在再分析下字符流。读字符流写字符流...
2014-07-03 22:29:38
81
java字节流
有关java流的详细介绍网上随处可见，就不再赘述了，本篇博客画出了java字节流的类图。字节输入流 字节输出流 java io是装饰者模式的典型代表。以输出字节流为例，FilterOutputStream是一个抽象的装饰者，ByteArrayOutputStream、FileOutputStream等是等待被装饰的对象，BufferedOut...
2014-06-29 21:50:53
195
hadoop作业提交流程分析
本篇博客将以WordCount为例从源码上分析hadoop作业提交流程，所使用的hadoop版本为cdh4.3.0。 hadoop作业提交流程如下图所示： public static void distribute() throws Exception { /*指定Hadoop 环境的用户名称， 如果不指定会抛org.apache.hado...
2014-04-07 14:43:14
289
ServiceLoader
基本概念 服务：一个熟知的接口和类（通常为抽象类）集合。服务提供者：服务的特定实现。ServiceLoader ServiceLoader是专门用于加载服务提供者的加载器。 ServiceLoader会将加载过的所有provider都缓存在一个LinkedHashMa...
2014-04-01 00:00:22
129
原创 类加载器
类加载器的继承层次java类加载器按照如下图所示的结构组织，各加载器各司其职只加载自己管辖范围内的类。引导类加载器(Bootstrap)：java虚拟机内置的加载器，在虚拟机启动的时候会用这个类加载器来加载 JDK安装目录下的 /JRE/LIB/rt.jar ，也就是系统默认导入的一些类（如下图所示）。不能通过代码直接获取引导类加载器的引用，获取的都是null。 扩展类加载器(ExtC...
2014-03-30 02:15:51
102
原创 动态代理
java动态代理就是动态的为委托类生成代理类，相比静态代理需要预先编写代理类源码，动态代理只需要定义好接口，然后使用反射动态生成指定接口的实现类（代理类）。以下通过一个demo来分析动态代理的实现细节。 步骤1：定义接口并提供接口实现类。/** * 打电话服务接口 */interface CallService{ public vo...
2014-03-27 22:48:08
108
原创 java 注解
注解基本信息自定义注解及使用定义注解package com.hsh.annotation;import java.lang.annotation.ElementType;import java.lang.annotation.Retention;import java.lang.annotation.RetentionPolicy;import java.l...
2014-03-24 22:54:48
88
原创 java并发编程02——JMM
线程通信和线程同步 并发编程的两个核心问题是线程通信和线程同步，其中线程通信指线程之间以何种机制交换信息。常见的通信机制有两种：共享内存（线程之间共享公共状态，通过读-写公共状态来隐式通信）、消息传递（线程之间通过发送信息来显示通信），java采用共享内存的通行机制。同步指控制不同线程之间操作发生相对顺序（互斥）的机制。本篇主要从java的内存模...
2014-03-23 21:39:57
104
原创 java并发编程01——线程安全
什么是线程安全 如果对象的状态变量（对象的实例域、静态域）具有可变性，那么当该对象被多个线程共享时就的考虑线程安全性的问题，否则很可能出现与预期不同的结果。 线程安全是指：当多个线程访问某个类时，不管运行时环境采用何种调度方式或者这些线程如何交替执行，该类始终能表现出正确的行为。 一个类是否线程安全的，取决于两点：是否被多线程共享；状态是否可变。...
2014-03-16 14:18:36
133
TA创建的收藏夹 TA关注的收藏夹
TA关注的人