java，docker，ai

Hadoop RPC是Hadoop的一个重要部分，提供分布式环境下的对象调用功能，源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码，只是在配置项上面有所改动。关于Hadoop RPC的机制分析和源码解读，网上已经有许多资料，一搜一大把，这里就不在描述了。本文通过一个小例子，介绍如何调用Hadoop RPC。1. 应用场景Hadoop RP

原文地址：http://weixiaolu.iteye.com/blog/1544860正文：一．体系背景首先和大家说明一下：hadoop的心跳机制的底层是通过RPC机制实现的，这篇文章我只介绍心跳实现的代码，对于底层的具体实现，大家可以参考我的另几篇博客：1. hadoop的RPC机制（参考：http://weixiaolu.iteye.com/blog/1504

一.YARN基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。二.Y

首先我们明确一下关于中这个分区到底是怎么样，有什么用处？回答这个问题先看看上次代码执行的结果，我们知道结果中有个文件(part-r-00000),这个文件就是所有的词的数量记录，这个时候有没什么想法比如如果我想把一些包含特殊的词放置单独的一个文件，其他我不关心的放置在另一个文件这样我就好查看方便多了，又比如如果是统计关于人的某些爱好那我是不是可以把童年的放置在一个文件，成年的放置在一个文件等等这样

说到排序我们可以查看下hadoop源码里面的WordCount例子中对LongWritable类型定义，它实现抽象接口WritableComparable，代码如下：123456public interface WritableComparableextends Writable, Comparab