- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Shuffle阶段的自我理解
Shuffle阶段的概述Shuffle是连接map，reduce两个管道的衔接套。Map的输出经过partition写到内存的buffer里面，当内存满了的时候，会排序写到零时文件，这样当mapTask整个运行完之后，会产生一大堆零时文件，shuffle要把它们merge在一起。（会调用combine函数） Reduce端通过TaskTracker监听到自己的需要数据的哪个map运行完了，就回去p
2016-06-29 23:23:13
2290
原创 OutputFormat的自我理解
主要接口1, getRecordWriter(FileSystem ignored, JobConf job, String name, Progressable progress) 这个方法的主要作用是返回一个RecordWriter，把context.write()的键值对写到文件里面。progress作为返回写文件进度的一个回调机制。 2, checkOutputSpecs(FileSys
2016-06-28 22:34:04
2421
原创 InputFormat的个人理解
概述InputFormat是MapReduce中的第一个重要阶段，它主要做了两部分工作，第一步过滤inputPath, 生成inputSplit，写入文件.staging/job.split，每个inputsplit对应一个map。第二步，构建recordReader, 生成InputFormatUsage：验证job的inputPath里面的文件。划分输入文件，生成逻辑的inputSplits
2016-06-27 22:13:34
907
原创 利用jclasslib查看局部变量信息
在书上看到可以利用工具jclasslib来查看局部变量信息，但是下载下来打开，发现只有简单的三行，没有变量名，description信息等。首先怀疑是不是下载的软件不对，然后猜测会不会是jdk版本的问题，最后找到原因，原来是在编译生成class字节文件的时候，要加入参数-g。
2016-06-01 23:37:35
715
原创 python的前段学习小结
2011年经师兄推荐开始接触python，觉得python对数值的处理和字符文本处理功能都很强大。因此，想深入学习python。 首先阅读了些关于python的基础语法，因为以前有c，java等语言基础，因此上手很快。 然后，师兄推荐了一个网站python challenge。里面每一关都很精彩，常常需要考虑很久。还涉及到很多方面的知识，和库，在这个过程中，让我体会到很
2012-11-02 20:23:02
426
原创 stc12c5a60s2板子的使用学习——一个初学者的历程
最近，做项目，用到这个芯片。由于我开始接触硬件，所以学习缓慢。从暑假开始，到现在已经将近两个月了。 在第一段时间，主要看了7513和2810芯片它们的datasheet，很多寄存器，看的我头大。 第二段时间，开始学习stc12c5a60s2的使用。我有个试验箱，里面也有stc芯片，不过它是90的，而且有很多例程。我就对着历程学习。我对语言算法的了解还是不错的，所以大部分例程
2012-08-16 18:30:03
5266
1
apk_decode_tools
2014-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人