2014年04月_chlaws

08月 07月 05月 04月 01月

原创 MapReduce源码分析之架构分析1

前言 MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。本篇，将不会涉及代码部分的分析，只是简单分析map的整体架构，并介绍map与reduce的运行过程，主要是为后续的分析做一个铺垫。至于MapTask/ReduceTask的原理分析，JobTracker部分，以及TaskTracker如何启动一个Task这些都将在后续章节给出。MR编程模型

2014-04-14 22:24:54 5153 2

原创 MapReduce源码分析之InputSplit分析

前言MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。什么是InputSplit InputSplit是指分片，在MapReduce当中作业中，作为map task最小输入单位。分片是基于文件基础上出来的而来的概念，通俗的理解一个文件可以切分为多少个片段，每个片段包括了等信息。在MapTask拿到这些分片后，会知道从哪开始读取数据。Job

2014-04-03 23:15:55 13614 2

缘起：最近对于淘宝之类的网站密码设置的复杂了些，后来想想很多网站的如银行类以及QQ密保之类的一些信息需要保存,但保存到网上感觉不安全，直接写入文本又不安全，因此产生了编写直接文本文件加密工具的想法。用法：开始-》运行-》输入cmd启动命令行窗口输入sa.exe的绝对路径。如c:\1.exe -h会显示较为详细的帮助说明或者cd 到sa.exe的目录后,在执行sa -h显示帮助。安全性说明：采用了2重密钥加密文件,为保证唯一性，安全性，只能在加密的机器上才能进行解密。否则将加密后的文件拷贝到其他电脑中再采用sa.exe进行解密也是无法实现文件解密。关于密钥文件：加密和解密必须指定,该文件用来生成其中一重密钥。该文件可以简单的文本文件，比如文件内容是aaa，文件名是a.txt,在指定时使用-c a.txt就可以。不过加密后请删除。在解密的时候再次手工创建该密钥文件就可以了。

2011-09-25