hadoop
okman1214
这个作者很懒,什么都没留下…
展开
-
Hadoop源代码分析(MapReduce概论)
from: http://caibinbupt.iteye.com/blog/336467 大家都熟悉文件系统,在对HDFS进行分析前,我们并没有花很多的时间去介绍HDFS的背景,毕竟大家对文件系统的还是有一定的理解的,而且也有很好的文档。在分析Hadoop的MapReduce部分前,我们还是先了解系统是如何工作的,然后再进入我们的分析部分。下面的图来自http://horick转载 2013-06-13 10:39:35 · 630 阅读 · 0 评论 -
Hadoop,MapReduce操作Mysql
from http://www.cnblogs.com/liqizhou/archive/2012/05/16/2503458.html 前以前帖子介绍,怎样读取文本数据源和多个数据源的合并:http://www.cnblogs.com/liqizhou/archive/2012/05/15/2501835.html 这一个博客介绍一下MapReduce怎样读取关系数据库的数据转载 2013-06-13 10:42:54 · 781 阅读 · 0 评论 -
Myeclipse 的hadoop环境搭建
1、安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到my 1、安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/d转载 2013-06-16 13:02:13 · 6124 阅读 · 2 评论 -
《Hadoop管理一》checkpoint原理和过程
from http://www.cnblogs.com/hanyuanbo/archive/2012/07/25/2608698.html 理解这两个概念,对于理解Hadoop是如何管理备份,Secondary Namenode、Checkpoint Namenode和Backup Node如何工作的很重要。 fsimage:文件是文件系统元数据的一个永久性检查点,包含文件系统中的所有转载 2013-06-16 11:22:37 · 3492 阅读 · 0 评论 -
Hadoop运行原理详解
from:http://blog.csdn.net/yclzh0522/article/details/6859778 我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理. 1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为转载 2013-06-09 15:02:05 · 729 阅读 · 0 评论