weixin_43930865的博客

hadoop通信协议浅谈 1. RPC的基础概念 RPC，即RemoteProcdure Call，中文名：远程过程调用。 它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。 Hadoop RPC在整个Hadoop中应用非常广泛，Client、DataNode、NameNode之间的通讯都是通过RPC来进行的，...

Hadoop源码学习------jar包解析 1 ：下载源码包 hadoop官网 2、解压源码包： 3、目录结构： hadoop-common-project：Hadoop基础库所在目录，如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。 hadoop-mapreduce-project：MapReduce框架的实现，在第一代MR即MRv1中，MapReduce由...

spark下载：官网：http://spark.apache.org/downloads.html 选择Choose a Spark release: Choose a package type:source code(必须选此) 1.1：idea导入 1.2 导入设置 1.3完成

hadoop源码编译问题解决