hadoop
renaissance_joker
这个作者很懒,什么都没留下…
展开
-
HDFS通信协议(一)
Hadoop RPC接口HDFS通信协议抽象了HDFS各个节点之间的调用接口,这一篇文章只是简要介绍下HDFS RPC有哪些接口,具体有下面文章一一概述 Hadoop RPC调用时基于Protobuf实现的。Hadoop RPC接口主要定义在org.apache.hadoop.hdfs.protocol包和org.apache.hadoop.hdfs.server.protocol包中,它包原创 2017-03-24 15:56:52 · 6399 阅读 · 1 评论 -
Hadoop中的数据块为何如此大
HDFS的数据块,默认大小为64MB,它比一般文件系统都大的多。下面我们分别来看看不同操作系统的块大小:1.linux本人使用的是CentOS-6.8-x86_64,如下图: linux的块大小才1024KB,也有4086KB,但是远远小于HDFS的块大小。2.windows本人使用的是win764位,如下图: windows的块大小为4086KB。3.原因HDFS的块比磁盘的块大,其目原创 2017-03-15 11:49:31 · 1550 阅读 · 0 评论 -
hadoop2.x完全分布式安装配置
在搭建环境之前我们先看下本次搭建的各角色:nameNode 进程:NameNodedataNode 进程:DataNoderesourceManager :ResourceManagernodeManeger : NodeManagerzkfc:DFSZKFailoverControllerjournalnode: JournalNodezookeeper原创 2017-04-18 16:06:30 · 403 阅读 · 0 评论 -
Hadoop分布式计算框架之Shuffler
shuffle的主要工作是从Map结束到Reduce开始之间的过程。shuffle阶段又可以分为Map端的shuffle和Reduce端的shuffle。1.Shuffler流程简介每个map task都有一个内存缓冲区(如上图中的buffer in memory默认为100MB),存储着map的输出数据,当缓冲区快满的时候,需要将缓冲区中的数据以一个临时文件的方式存放到磁盘上(如上图sp原创 2017-03-10 23:14:45 · 650 阅读 · 0 评论