![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs源码分析
文章平均质量分 89
colossus_bigdata
大数据&微服务架构师
展开
-
10.hadoop源码分析:
http://blog.csdn.net/posa88/article/details/7904720 当我们定义一个Counter时,我们首先要定义一枚举类型: [html]view plaincopyprint? publicstaticenumMY_COUNTER{ CORRUPTED_DATA_COUNTER,...原创 2014-04-05 16:39:31 · 669 阅读 · 0 评论 -
9.hadoop源码分析:
http://blog.csdn.net/allenlinrui/article/details/6715309下面,我们只涉及MapReduce 1,而不涉及YARN。 当我们在写MapReduce程序的时候,通常,在main函数里,我们会像下面这样做。建立一个Job对象,设置它的JobNa...原创 2014-04-05 16:38:42 · 584 阅读 · 0 评论 -
8.hadoop源码分析:
|举报|字号订阅 前面在讲InputFormat的时候,讲到了Mapper类是如何利用RecordReader来读取InputSplit中的K-V对的。 这一篇里,开始对Mapper.class的子类进行解读。 先回忆一下。Mapper有setup(),map(),cleanup()和run()四个方法。其中setup()一般是用来进行一些map...原创 2014-04-05 16:37:56 · 514 阅读 · 0 评论 -
7.hadoop源码分析:上传数据流程分析
http://blog.csdn.net/posa88/article/details/7897963平时我们写MapReduce程序的时候,在设置输入格式的时候,总会调用形如 job.setInputFormatClass(KeyValueTextInputFormat.class);来保证输入文件按照我们想要的格式被 读取。所有的输入格式都继承于InputFormat,这是一个抽象类,其子类有...原创 2014-04-05 16:36:31 · 620 阅读 · 0 评论 -
6.hadoop源码分析:HA原理分析
RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,...原创 2014-03-29 22:59:52 · 1016 阅读 · 0 评论 -
5.hadoop源码分析:分析namenode文件目录树及元数据管理机制
Partition所处的位置 Partition位置 Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求: 1)均衡负载,尽量的将工作均匀的分配给不同的reduce。 2)效率,分配速度一定要快。 Mapreduce提供的Partitioner Mapreduce默认的partitioner是HashPartitione...原创 2014-03-29 22:42:17 · 1091 阅读 · 0 评论 -
4.hadoop源码分析:datanode的心跳机制
因为一直在做hbase的应用层面的开发,所以体会的比较深的一点是hbase的表结构设计会对系统的性能以及开销上造成很大的区别,本篇文章先按照hbase表中的rowkey、columnfamily、column、timestamp几个方面进行一些分析。最后结合分析如何设计一种适合应用的高效表结构。 1、表的属性 (1)最大版本数:通常是3,如果对于更新比较频繁的应用完全...原创 2014-03-29 22:40:43 · 731 阅读 · 0 评论 -
3.hadoop源码分析:datanode的注册分析
1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。 2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题。 3.Pig基本数据类型:int、long、float、double、chararry、bytearray 复合数据类型:Map、Tuple、Bag ...原创 2014-03-02 14:10:12 · 1044 阅读 · 0 评论 -
2.hadoop源码分析:datanode的启动
datanode的代码位于hadoop-hdfs-project下的org.apache.hadoop.hdfs.server.datanode包中:首先找到该类,先看其注释,大概意思是: datanode是block存储组件,与namenode通信,也与client端和其他datanode通信datanode管理一系列的block块,允许客户端去读写这些数据块。也会响应namenode对 bl...原创 2014-03-02 11:02:09 · 1060 阅读 · 0 评论 -
1.hadoop源码分析:namenode的启动
namenode源码位于hadoop-hdfs-project项目的org.apache.hadoop.hdfs.server.namenode包中,首先查看该类注释,描述了namenode的大体功能: * namenode server负责目录名称空间和inode表的管理,namenode中维护两张表: * 1) filename{@literal ->}blocksequence (...原创 2014-03-01 23:21:11 · 846 阅读 · 0 评论