- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 YARN 的状态机库及其使用
状态机由一组状态组成，这些状态分为三类：初始状态、中间状态和最终状态。状态机从初始状态开始运行，经过一系列中间状态后，到达最终状态并退出。在一个状态机中，每个状态都可以接收一组特定事件，并根据具体的事件类型转换到另一个状态。当状态机转换到最终状态时，则退出。YARN状态转换方式 在YARN中，每种状态转换由一个四元组表示，分别是转换前状态（preState）、转换后状态（postState）、事件
2016-06-29 21:33:48
1531
原创 YARN 的服务库和事件库及其使用
YARN采用了基于事件驱动的并发模型，该模型能够大大增强并发性，从而提高系统整体性能。为了构件模型，YARN将各种处理逻辑抽象成事件和对应事件调度器，并将每类事件的处理过程分割成多个步骤，用有限状态机表示。YARN中的事件处理模型可概括为下图所示。 整个处理过程大致为：处理请求会作为事件进入系统，由中央异步调度器（AsyncDispatcher）负责传递给相应事件调度器（Event Handl
2016-06-29 16:37:08
1630
原创 hadoop 2.x 版本安装与配置
哈哈，终于把1.x版本的hadoop源码搞明白了，现在开始搞2.x。。。ubuntu版本12.04 64位 1、创建hadoop管理员账号、ssh无密码登陆、安装JDK可以参考我的另一篇文章http://blog.csdn.net/lfdanding/article/details/45847629，这里就不多说了。。。 2、首先要下载安装hadoop，我下载的是hadoop-2.2.0.t
2016-06-26 20:33:31
887
原创 Hadoop源码分析——数据节点写数据2
数据接收 客户端写往数据节点的数据由org.apache.hadoop.hdfs.server.datanode.BlockReceiver.java中的receiveBlock方法接收 void receiveBlock( DataOutputStream mirrOut, // output to next datanode DataInputStream mirrIn
2016-06-22 22:06:53
6964
原创 Hadoop源码分析——数据节点写数据1
即使不考虑数据节点出错后的故障处理，文件写入也是HDFS中最复杂的流程。本章以创建一个新文件并向文件中写入数据，然后关闭文件为例，分析客户端写文件时系统各节点的配合，如下图所示。 客户端调用DistributedFileSystem的create（）方法创建文件，上图的步骤1，这时，DistributedFileSystem创建DFSOutputStream，并由远程过程调用，让名字节点执行同名
2016-06-22 20:59:42
6839
原创 Hadoop源码分析——数据节点数据发送
客户端读数据 下图显示了在读取HDFS上的文件时，客户端、名字节点和数据节点间发生的一些事件以及事件的顺序。 客户端通过FileSystem.open()打开文件，对应的HDFS具体文件系统，DistributedFileSystem创建输出流FSDataInputStream，返回给客户端，客户端使用这个输入流读取数据。FSDataInputStream需要和具体的输入流结合，一起
2016-06-22 15:11:58
1893
原创 java 文件锁
今天在分析HDFS数据节点的源码时，了解到在数据节点的文件结构中，当数据节点运行时，${dfs.data.dir}下会有一个名为”in_use.lock”的文件，该文件就是文件锁。文件加锁是 JDK1.4 引入的一种机制，它允许我们同步访问某个作为共享资源的文件。竞争同一文件的两个线程可能在不同的 Java 虚拟机上，或者一个是 Java 线程，另一个是操作系统中的某个本地线程。文件锁对其他的操作系
2016-06-17 10:55:42
3911
原创 散列表概述
字典是形如（k，v）元素的集合，其中k是一个关键字，v是与k有关的值。字典中没有两个元素具有相同的关键字。 在字典上可以执行下面的操作 1）从字典中获取具有指定关键字的元素。 2）在字典中插入或放入具有指定关键字的元素 3）删除或移除具有指定关键字的元素public interface Dictionary{ public Object get(Object key); pub
2016-06-05 16:57:01
904
原创 java.util.BitSet使用与分析
BitSet使用： 问题：对40亿个数据进行排序，数据类型为 int，无相同数据。 思考：关于40亿个数据的排序，首先想如何存储呢？一个int 4个字节，也就是160亿个字节，也就是大概有16GB的数据，现在所有的计算机估计没有这么大的内存吧，所以我们就可以文件归并排序，也可以分段读入数据在进行Qsort，但是都需要不停地读入文件，可以想象不停地读取文件硬件操作会有多么浪费时间。我们这样都是用4
2016-06-04 22:01:12
1633
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人