- 博客(7)
- 资源 (31)
- 收藏
- 关注
RSS订阅原创 6.hadoop源码分析：HA原理分析
RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，...
2014-03-29 22:59:52
1017
原创 5.hadoop源码分析：分析namenode文件目录树及元数据管理机制
Partition所处的位置Partition位置Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求：1）均衡负载，尽量的将工作均匀的分配给不同的reduce。2）效率，分配速度一定要快。Mapreduce提供的PartitionerMapreduce默认的partitioner是HashPartitione...
2014-03-29 22:42:17
1092
原创 4.hadoop源码分析：datanode的心跳机制
因为一直在做hbase的应用层面的开发，所以体会的比较深的一点是hbase的表结构设计会对系统的性能以及开销上造成很大的区别，本篇文章先按照hbase表中的rowkey、columnfamily、column、timestamp几个方面进行一些分析。最后结合分析如何设计一种适合应用的高效表结构。 1、表的属性 (1)最大版本数：通常是3，如果对于更新比较频繁的应用完全...
2014-03-29 22:40:43
733
原创 job的提交过程源代码分析
job.waitForCompletion(true)开始： waitForCompletion方法如下：public boolean waitForCompletion (boolean verbose ) throws IOException, InterruptedException,
2014-03-17 15:43:21
1191
原创 3.hadoop源码分析：datanode的注册分析
1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。3.Pig基本数据类型：int、long、float、double、chararry、bytearray复合数据类型：Map、Tuple、Bag ...
2014-03-02 14:10:12
1045
原创 2.hadoop源码分析：datanode的启动
datanode的代码位于hadoop-hdfs-project下的org.apache.hadoop.hdfs.server.datanode包中：首先找到该类，先看其注释，大概意思是：datanode是block存储组件，与namenode通信，也与client端和其他datanode通信datanode管理一系列的block块，允许客户端去读写这些数据块。也会响应namenode对 bl...
2014-03-02 11:02:09
1063
原创 1.hadoop源码分析：namenode的启动
namenode源码位于hadoop-hdfs-project项目的org.apache.hadoop.hdfs.server.namenode包中，首先查看该类注释，描述了namenode的大体功能：* namenode server负责目录名称空间和inode表的管理，namenode中维护两张表：* 1) filename{@literal ->}blocksequence (...
2014-03-01 23:21:11
848
C primer plus编程练习答案 C primer plus答案
2009-12-31
在Linux世界驰骋系列教程 linux电子书
2009-12-26
CISSP学习指南 cissp
2009-12-26
J2EE架构师手册.chm（英文的）
2009-12-26
IPV6详解 tcp ip IPv6、ICMPv6
2009-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人