- 博客(7)
- 资源 (31)
- 收藏
- 关注
原创 6.hadoop源码分析:HA原理分析
RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,...
2014-03-29 22:59:52 1017
原创 5.hadoop源码分析:分析namenode文件目录树及元数据管理机制
Partition所处的位置 Partition位置 Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求: 1)均衡负载,尽量的将工作均匀的分配给不同的reduce。 2)效率,分配速度一定要快。 Mapreduce提供的Partitioner Mapreduce默认的partitioner是HashPartitione...
2014-03-29 22:42:17 1092
原创 4.hadoop源码分析:datanode的心跳机制
因为一直在做hbase的应用层面的开发,所以体会的比较深的一点是hbase的表结构设计会对系统的性能以及开销上造成很大的区别,本篇文章先按照hbase表中的rowkey、columnfamily、column、timestamp几个方面进行一些分析。最后结合分析如何设计一种适合应用的高效表结构。 1、表的属性 (1)最大版本数:通常是3,如果对于更新比较频繁的应用完全...
2014-03-29 22:40:43 733
原创 job的提交过程源代码分析
job.waitForCompletion(true)开始: waitForCompletion方法如下: public boolean waitForCompletion (boolean verbose ) throws IOException, InterruptedException,
2014-03-17 15:43:21 1191
原创 3.hadoop源码分析:datanode的注册分析
1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。 2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题。 3.Pig基本数据类型:int、long、float、double、chararry、bytearray 复合数据类型:Map、Tuple、Bag ...
2014-03-02 14:10:12 1045
原创 2.hadoop源码分析:datanode的启动
datanode的代码位于hadoop-hdfs-project下的org.apache.hadoop.hdfs.server.datanode包中:首先找到该类,先看其注释,大概意思是: datanode是block存储组件,与namenode通信,也与client端和其他datanode通信datanode管理一系列的block块,允许客户端去读写这些数据块。也会响应namenode对 bl...
2014-03-02 11:02:09 1063
原创 1.hadoop源码分析:namenode的启动
namenode源码位于hadoop-hdfs-project项目的org.apache.hadoop.hdfs.server.namenode包中,首先查看该类注释,描述了namenode的大体功能: * namenode server负责目录名称空间和inode表的管理,namenode中维护两张表: * 1) filename{@literal ->}blocksequence (...
2014-03-01 23:21:11 848
C primer plus编程练习答案 C primer plus答案
2009-12-31
在Linux世界驰骋系列教程 linux电子书
2009-12-26
CISSP学习指南 cissp
2009-12-26
J2EE架构师手册.chm(英文的)
2009-12-26
IPV6详解 tcp ip IPv6、ICMPv6
2009-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人