- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 Shuffle阶段的自我理解
Shuffle阶段的概述Shuffle是连接map,reduce两个管道的衔接套。Map的输出经过partition写到内存的buffer里面,当内存满了的时候,会排序写到零时文件,这样当mapTask整个运行完之后,会产生一大堆零时文件,shuffle要把它们merge在一起。(会调用combine函数) Reduce端通过TaskTracker监听到自己的需要数据的哪个map运行完了,就回去p
2016-06-29 23:23:13 2305
原创 OutputFormat的自我理解
主要接口1, getRecordWriter(FileSystem ignored, JobConf job, String name, Progressable progress) 这个方法的主要作用是返回一个RecordWriter,把context.write()的键值对写到文件里面。progress作为返回写文件进度的一个回调机制。 2, checkOutputSpecs(FileSys
2016-06-28 22:34:04 2451
原创 InputFormat的个人理解
概述InputFormat是MapReduce中的第一个重要阶段,它主要做了两部分工作,第一步过滤inputPath, 生成inputSplit,写入文件.staging/job.split,每个inputsplit对应一个map。第二步,构建recordReader, 生成InputFormatUsage: 验证job的inputPath里面的文件。 划分输入文件,生成逻辑的inputSplits
2016-06-27 22:13:34 925
原创 利用jclasslib查看局部变量信息
在书上看到可以利用工具jclasslib来查看局部变量信息,但是下载下来打开,发现只有简单的三行,没有变量名,description信息等。 首先怀疑是不是下载的软件不对,然后猜测会不会是jdk版本的问题,最后找到原因,原来是在编译生成class字节文件的时候,要加入参数-g。
2016-06-01 23:37:35 733
apk_decode_tools
2014-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人