hadoop大数据平台
大林-Java
专注于互联网技术IT,Java架构,数据库及数据仓库,缓存,消息,分布式,大数据
展开
-
MapReduce工作原理图文
Bash-MapReduce AWK脚本性能更佳MapReduce工作原理图文详解目录:1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程正文:1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图:流程分析:1.在客户端启动一个作业。2.向Jo原创 2014-02-17 19:48:25 · 6336 阅读 · 0 评论 -
Hadoop RPC 源码解析
RPC源码分析(package org.apache.hadoop.ipc):(Client阻塞IO编程)(服务端非阻塞NIO编程)通过Java的动态代理(Dynamic Proxy)与反射(Reflect)实现一:建立连接getConnection分析: Connection connection; //如果connections连接池中有对应的连接对象,就原创 2014-02-20 15:10:56 · 863 阅读 · 0 评论 -
NameNode和DataNode通信机制
备注:client和namenode之间是通过rpc通信;datanode和namenode之间是通过rpc通信;client和datanode之间是通过简单的socket通信。写数据:Blk A,Blk B,Blk C分别需要写入1,5,6 DN上,namenode询问1是否准备好,1问5是否准备好,5问6是否准备好,1,5,6之间创建一个pipe转载 2014-02-20 15:39:12 · 6635 阅读 · 0 评论 -
MapTask&ReduceTask运行机制原理
Map端:1.每个输入分片会让一个map任务来处理,默认情况下,以HDFS的一个块的大小(默认为64M)为一个分片,当然我们也可以设置块的大小。spill过程即map输出的结果会暂且放在一个环形内存缓冲区中(该缓冲区的大小默认为100M,由io.sort.mb属性控制),当该缓冲区快要溢出时(默认为缓冲区大小的80%,由io.sort.spill.percent属性控制),会在本地文件系统原创 2014-02-20 14:51:18 · 2511 阅读 · 0 评论 -
漫画HDFS工作原理
转自:http://blog.csdn.net/netcoder/article/details/7442779转载 2014-06-12 10:41:56 · 966 阅读 · 0 评论