- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop的rpc同异步转换原理
一、hadoop通过call的wait和notify方式实现异步消息交互和同步调用的转换。 调用者线程首先创建动代理，在实现InvocationHandler接口的invoke方法中，通过调用rpc.client.call(Invocation,RemoteServerID)，在client的call方法中将Invocation作为参数创建Call对象，发送请求后，Call对象.wa
2014-03-31 22:28:22
1133
原创 Active模式
并发对象 (Concurrent Object)在这里，我们先定义一下，什么是并发对象。不同于一般的对象，并发对象指的是该对象方法的调用与方法的执行不在同一个线程內，也即：该对象方法被异步执行。这其实是在多线程编程环境下典型的计算特征，线程引入了异步。从另一个角度来看，并发对象其实是面向对象的概念应用于多线程计算环境下的产物。Active Object 设计模式 C
2014-03-31 22:12:49
3674
原创 java动态代理中的invoke方法是如何被自动调用的
Java中动态代理的实现，关键就是这两个东西：Proxy、InvocationHandler，下面从InvocationHandler接口中的invoke方法入手，简单说明一下Java如何实现动态代理的。 首先，invoke方法的完整形式如下： Java代码 public Object invoke(Object proxy, Method m
2014-03-31 22:06:19
16602
29
原创 Hadoop的rpc机制分析
Hadoop RPC使用Java动态代理与反射实现对象调用方式，客户端到服务器数据的序列化与反序列化由Hadoop框架或用户自己来实现，即实现数据组装可定制化。Hadoop的rpc通信结构如下图所示： 远程的对象拥有固定的接口，对caller也是可见的，真正的实现(Object)只在服务端。用户如果想使用那个实现的话，调用过程如此：先根据那个接口动态代理生成一个代理对象，调用这个
2014-03-31 22:01:42
968
原创 oozie在hadoop中的意义
1、什么是oozie Oozie是一种Java Web应用程序，它运行在Java servlet容器，Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作，把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。 2、oozie的工作流机理这个工作流定义了三个动作：ingestor、merg
2014-03-24 21:47:38
3712
原创 NameNode工作线程之dnthread解析
1、dnthread的任务该线程执行的是DecommissionMonitor退役监测，即DataNode节点退役或停用。它定时地检测正在退役的datanode中Blocks的状态，当这些Blocks都满足副本因子之后，才能将该DataNode节点置为退役状态。 2、监测机制 由于需要检测全部的DataNode，然后DataNode又比较多，所以采用迭代的步长检测，每次只检测处于正在退役状态的n
2014-03-13 21:08:36
1013
原创 map的collect和spill过程解析
Map的输出缓冲是一个循环缓冲，collect和spill是在kvstart、kvend和kvindex三个指针的引导下进行的。初始时kvstart=kvend=kvindex=01、MapTask的collect过程 collect是一个向缓冲区放东西的过程。此时，kvstart和kvend不动，每放一条记录，kvindex都会向后移动一位。2、spillThread的spill过程
2014-03-06 21:08:23
2170
原创 hadoop的IO和MapReduce优化参数
在MapReduce执行过程中，特别是Shuffle阶段，尽量使用内存缓冲区存储数据，减少磁盘溢写次数；同时在作业执行过程中增加并行度，都能够显著提高系统性能，这也是配置优化的一个重要依据。 下面分别介绍I/O属性和MapReduce属性这两个类的部分属性，并指明其优化方向。1 I/O属性类的优化I/O属性类主要包括在Shuffle阶段中相关的I/O
2014-03-06 21:07:04
1565
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人