Hadoop
bluegreen315
这个作者很懒,什么都没留下…
展开
-
hadoop rpc机制 && 将avro引入hadoop rpc机制初探
hadoop rpc机制 && 将avro引入hadoop rpc机制初探http://www.alidata.org/archives/14131 RPCRPC(Remote Procedure Call)——远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。2 hadoop.ipc2.1 ServerRPC Server实现了转载 2014-05-08 21:26:54 · 892 阅读 · 0 评论 -
WordCount运行
1、MapReduce处理过程 MapReduce 是一个分布式计算框架,将数据处理任务抽象为map任务和reduce任务。主要采用分而治之的思想,在map阶段完成对数据的过滤处理,在reduce完成对数据的聚集处理。一个MapReduce任务主要分为三个阶段:map 阶段,shuffle 阶段(网络传输阶段)和 reduce 阶段,同时在每个阶段内的数据都以键值对(key,v原创 2014-05-08 15:58:56 · 606 阅读 · 0 评论 -
Hadoop RPC 源码分析- 相关类图
原创 2014-08-18 18:10:03 · 822 阅读 · 0 评论 -
JAVA Reflection
package reflect.demo;import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;import java.lang.refle转载 2014-08-09 14:37:14 · 366 阅读 · 0 评论 -
JAVA Dynamic Proxy
package dynamic.demo;public class ClientTest { /** * @param args */ public static void main(String[] args) { // TODO Auto-generated method stub LogHandler logHandler = new LogHandler();转载 2014-08-09 15:45:49 · 318 阅读 · 0 评论 -
Hadoop RPC 源码阅读2
前面分析了ipc.Server是如何处理客户端的RPC请求,下面来分析客户端如何向服务端发送请求。ipc.Client源码分析ipc.Client有几个内部类,包括Call、Connection、ConnectionID等首先看Client类的call方法: /** Make a call, passing param, to the IPC server de原创 2014-08-18 18:03:18 · 535 阅读 · 0 评论 -
Hadoop RPC 源码阅读3
package Test;import NameNode.NameNode;import RPC.RPC;public class TestRpcClient { public static void main(String[] args) { for (int i = 0; i < 10; i++) { new Thread(new Runnable() {原创 2014-05-08 20:41:05 · 650 阅读 · 0 评论 -
Hadoop RPC 源码阅读1
Hadoop通信机制采用自己编写的RPC,相比较其他复杂的RPC框架来说,更容易自我控制且更精练。RPC在Hadoop中实现 client和server 之间通信和数据传输的作用,以及 datanode和namenode心跳数据,jobTracker 和 taskTacker之间通信的作用。ipc.Server源码分析ipc.Server是一个abstract修饰的抽象类,被i原创 2014-08-18 16:32:41 · 607 阅读 · 0 评论