2016年06月_WuDevin

06月

原创 Shuffle阶段的自我理解

Shuffle阶段的概述Shuffle是连接map，reduce两个管道的衔接套。Map的输出经过partition写到内存的buffer里面，当内存满了的时候，会排序写到零时文件，这样当mapTask整个运行完之后，会产生一大堆零时文件，shuffle要把它们merge在一起。（会调用combine函数） Reduce端通过TaskTracker监听到自己的需要数据的哪个map运行完了，就回去p

2016-06-29 23:23:13 2305

原创 OutputFormat的自我理解

主要接口1, getRecordWriter(FileSystem ignored, JobConf job, String name, Progressable progress) 这个方法的主要作用是返回一个RecordWriter，把context.write()的键值对写到文件里面。progress作为返回写文件进度的一个回调机制。 2, checkOutputSpecs(FileSys

2016-06-28 22:34:04 2451

原创 InputFormat的个人理解

概述InputFormat是MapReduce中的第一个重要阶段，它主要做了两部分工作，第一步过滤inputPath, 生成inputSplit，写入文件.staging/job.split，每个inputsplit对应一个map。第二步，构建recordReader, 生成InputFormatUsage：验证job的inputPath里面的文件。划分输入文件，生成逻辑的inputSplits

2016-06-27 22:13:34 925

原创利用jclasslib查看局部变量信息

在书上看到可以利用工具jclasslib来查看局部变量信息，但是下载下来打开，发现只有简单的三行，没有变量名，description信息等。首先怀疑是不是下载的软件不对，然后猜测会不会是jdk版本的问题，最后找到原因，原来是在编译生成class字节文件的时候，要加入参数-g。

2016-06-01 23:37:35 733

中科院分词包

包里面含有linux和windows平台下所有文件，因此调用这个包可以跨平台。（unfortunately mac 不支持）

2014-07-15

apk_decode_tools

a package for all the tool you needed to decode an apk file. Including aapt.exe,apktool.bat,apktooljar,jd-gui.exe,dex2jar and ReadMe file write by myself. Enjoy it.

2014-06-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人