- 博客(8)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 hadoop shuffle机制中针对中间数据的排序过程详解（源代码级）
在所有公开资料中，很少有对Hadoop 中间数据的sort过程进行详细介绍的。如果想要深入了解hadoop对中间数据的排序机制，只有通过阅读源代码才能达到。而hadoop的这段代码本身具有非常大的迷惑性，如果不注意细节，很容易会发生错误的理解。 本篇文章从原理上详细介绍了hadoop针对中间数据的排序机制，并且对一些重要的源代码段进行了介绍。阅读本文对理解该机制或者深入阅读该部分的hadoop源代
2011-10-18 14:11:58
9456
11
原创 Hadoop MapReduce 任务执行流程源代码详细解析
目录1 引言 1.1 目的 1.2 读者范围2 综述3 代码详细分析 3.1 启动Hadoop集群 3.2 JobTracker启动以及Job的初始化 3.3 TaskTracker启动以及发送Heartbeat 3.4 JobTracker接
2011-09-27 15:01:58
15450
4
原创 SNMP4J教程
一个详细的SNMP4J教程 包含了SNMP4J的宏观介绍和详细使用步骤 同时包含例程 适合于想用SNMP4J开发程序的初学者
2011-03-01 11:29:00
8048
18
原创 MapReduce模型中常用join方法小结
这篇文章是在阅读《A Comparison of Join Algorithms for Log Processing in MapReduce》后对该文的一个小结。该文章详细介绍几种在mapreduce模型下的join算法，并且对他们的性能作出系统的评测。目前像pig，hive等上层应用在进行join计算时也是利用该文中提出的算法或者算法变种。需求： 假设有两
2012-04-21 21:55:06
2455
原创 内部排序方法小结
最近一些公司的实习笔试面试陆续开始，在此把一些常用的内部排序方法总结一下，也算是温故而知新。插入排序：插入排序就是逐个将未排序的元素插入到已经排好序的序列中，从而完成整个序列的排序。插入排序中最典型的就是直接插入排序和希尔排序。直接插入排序：从一个元素开始，每次选取一个新的元素插入的合适的位置，从而形成有序的序列，直到所有元素都已经完成排序。 该算法的特征是当待排序的序列基本有序的时候，该
2012-04-09 13:55:22
1695
原创 对Hadoop源代码中Child类的调试方法
网上有很多关于Hadoop源代码远程调试的文章，但是大多数是关于JobTracker，TaskTracker，NameNode，DataNode，SecondNameNode的。很少有介绍如何调试child类的。然而真正的Map任务和Reduce任务都是通过Child类运行的，所
2011-09-14 20:49:23
1963
5
原创 两条常用的Hadoop配置技巧
1、如果将Hadoop配置成伪分布模式，则Hadoop会将各种信息存入\tmp目录中，所以当系统重启之后，这些信息会丢失，使得用户不得不重新执行hadoop namenode -format命 令。为了避免这种情况，可以在hdfs-site.xml文
2011-07-05 21:54:44
1054
原创 net-snmp5.5安装与配置
<br />一、net-snmp5.5简介<br /> net-snmp5.5是一款非常优秀的snmp软件，能够提供snmp代理和snmp管理站功能。使用该软件作为snmp代理，不仅可以查询众多标准的mib库信息，而且可以利用它与很多其他软件通信（前提是这些软件支持smux协议或者AgentX协议），获得很多企业自定义的mib信息。不仅如此，还可以基于net-snmp开发自己的snmp代理，使得用户可以使自己所需要的信息通过snmp协议来获取。<br /> <br />二、安装前准备：<br />
2011-04-22 16:21:00
3938
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人