miluroe-CSDN博客

Hadoop源代码分析——io.*(二)

从官方的WordCount中不难看出，Hadoop在读取文本时的至少要有两种分割的功能。即可以将一篇文档按行切割分离，同时可以将一行中的文本依据空格切割出来。这样，类似与Java的I/O操作，只不过是以单词为单位向下迭代。每次迭代时读出一个单词并取出。 Text word = new Text();然后word.set(itr.nextToken());c...

2014-11-29 20:00:12 98

Hadoop源代码分析——io.*(一)

背景知识： Hadoop类、接口的标识： Hadoop的类、接口文件都要引入两个类InterfaceAudience;InterfaceStability;InterfaceAudience用于标记该类文件可以被访问的权限。熟悉的有public、private。LimitedPrivate 只能在归属的架构中例如HDFS、HBase中被引用。InterfaceS...

2014-11-22 15:58:12 96

原创 I/O实现文件复制

本文通过Java的I/O接口实现文件在电脑磁盘内的复制。仔细观察会发现，该程序复制文件的速度要远远比系统复制文件的速度慢，可能是由于系统在磁盘内复制是地址的发送过程，而该程序采用了输入、输出流完全抄写的方法。 import java.io.File;//文件类 import java.io.FileInputStream;//文件的输入流 import java.i...

2014-10-04 16:56:43 190

原创基于桶排序与哈夫曼编码的英文文档压缩方案（暂未附程序）

本文旨在练习哈夫曼树的创建、遍历方法来生成码表对文字进行压缩。故读仅仅对英文.txt文本进行读取并压缩，生成文档。由于哈夫曼编码压缩是基于统计模型的编码压缩，适用于压缩静态文件流、同时希望元素重复频率高。因此该压缩算法没有推广到对于任意类型文件的压缩。压缩思路：英文文档中主要由26个英文字母 (区分大小写)，空格、换行符、常用标点符号、阿拉伯数字组...

2014-10-04 16:38:35 153

32位全范围的int查重方法

32位RAM处理器中，int代表4个字节，具有32位，它的范围是-2147483648~2147483647的整数。若想对全范围整数进行查重，即对于任意数量任意大小的int变量I，判断I是否出现在已知的数组中。若通过整数数组int[]来表示全范围的整数，那么数组的长度为2^32。这样会使普通PC机器的内存溢出。考虑到任意int是由32位组成的，即如果能使每一i...

2014-09-24 18:21:10 271

原创关于JAVA线程的总结(一)

(一)进程与线程的关系：系统每启动一个任务就会开启一个新的进程，一个任务的一个或者多个线程只能在该任务进程的作用域内运行，各各进程间互不干扰，没有共用的内存空间。 (二)JAVA创建进程的方法： (1)：继承Thread类覆盖它的run()方法。 public void run() { while(true...

2014-07-18 18:22:43 65

原创自定义组件实现Android简易画板

实现画板功能可通过现有的ImageView组件，也可以通过自定义DrawingView组件，添加新的画板功能。二组件都继承android.view.View类。一：DrawingView程序部分： (1)继承View类，重写构造方法。在传入参数Context、AttributeSet的方法中新建画笔对象paint。 (2)重写on...

2014-07-04 12:38:33 287 1

miluroe的博客