hadoop学习
文章平均质量分 82
luyafei_89430
这个作者很懒,什么都没留下…
展开
-
Hadoop FS Shell命令大全
调用文件系统(FS)Shell命令应使用 bin/Hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目转载 2013-07-16 11:38:31 · 877 阅读 · 0 评论 -
Hadoop深入学习:MapTask详解
在本节中,我们主要来学习MapTask的内部实现。 整体执行流程 如上图示,MapTask的整个处理流程分五个阶段: ●read阶段:通过RecordReader从InputSplit分片中将数据解析成一个个key/value。 ●map阶段:将由RecordReader解析出的key/val转载 2013-07-29 17:01:42 · 1187 阅读 · 0 评论 -
分布式基础学习【一】 —— 分布式文件系统
所谓分布式,在这里,很狭义的指代以Google的三驾马车,GFS、Map/Reduce、BigTable为框架核心的分布式存储和计算系统。通常如我一样初学的人,会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图,已可窥见其几分风韵,但终究还是由于缺少一些实现的代码和示例,色彩有些斑驳,缺少了点感性。幸好我们还有Open Source,还有Hadoop。Had转载 2013-07-31 11:33:55 · 816 阅读 · 0 评论 -
Hadoop MapReduce原理
先看一段代码: package com.abc;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.f转载 2013-08-29 22:50:27 · 753 阅读 · 0 评论