2013年12月_yanliang1

12月 11月 10月 09月 08月 07月 06月

原创 Java 设计模式单例模式

通常单例模式在Java语言中，有两种构建方式：懒汉方式:指全局的单例实例在第一次被使用时构建。延迟初始化。饿汉方式:指全局的单例实例在类装载时构建。急切初始化。1，饿汉式单例类/** * 饿汉模式，是线程安全的，但是性能不好 * @author Administrator */public class StarvingSingleton {

2013-12-23 22:58:13 720

原创 Hadoop MapReduce 深入MapReduce Job 提交

一个job的运行，涉及4个实体：客户端，JobTracker，TaskTracker，HDFS【客户端】使用Job.submit()提交任务，任务提交后。1 向 jobtracker 请求一个新的作业ID (JobTracker.getNewJobId())2 检查输出目录，例如输出目录已经存在，就不提交3 计算作业的输入数据分片。如果分片无法计算（输入路径不存在），就

2013-12-20 08:22:50 2637

原创 Hadoop MapReduce 过程概述

一个MapReduce任务就是一个Job。Job分为2个阶段：Map 和 ReduceMap函数接收一个形式的输入，然后产生一个形式的中间输出，Hadoop会把相同中间Key值的value集合在一起传给reduce函数。reduce 函数接收key,(list of values)> 形式的输入，然后对values集合进行处理，输出形式。一个MapReduce Job 包括

2013-12-20 08:16:54 1256

原创冒泡排序 Bubble Sort

时间复杂度为 O(N^2)。虽然冒泡排序与插入排序的时间复杂度应该避免使用冒泡排序，重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。public class BubbleSort

2013-12-10 09:24:09 629

原创 Hadoop HDFS SequenceFile

SequenceFile 是一个由二进制序列化过的 key/value 的字节流组成的文本存储文件，它可以在map/reduce过程中的input/output 的format时被使用。在map/reduce过程中，map处理文件的临时输出就是使用SequenceFile处理过的。所以一般的SequenceFile均是在FileSystem中生成，供map调用的原始文件。Sequen

2013-12-07 12:35:22 2231

原创插入排序 Insertion sort

是一种简单的排序方法。时间复杂度为 O(n^2),即N的平方。在数据量较小的情况下，是比较有效的排序方式。输入：N个数输出：输入序列的一个排序要求 a'1思想：把序列分为2部分：已排序，未排序。每次从未排序中取一个数，与已排序中的值比较，插入到合适的位置。public class InsertSort { public stat

2013-12-04 22:14:59 445

原创归并排序 Merge sort

是一种简单的排序方法。时间复杂度为 O(N*logN)。思想：归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。首先考虑下如何将将二个有序数列合并。这个非常简单，只要从比较二个数列的第一个数，谁小就先取谁，取了后就在对应数列中删除这个数。然后再进行比较，如果有数列为空，那直接将另一个数列的数据依次取出

2013-12-04 22:13:53 583

原创 Hadoop HDFS 数据一致性

HDFS 会对写入的所有数据计算校验和(checksum)，并在读取数据时验证校验和。针对指定字节的数目计算校验和。字节数默认是512 字节，可以通过io.bytes.per.checksum属性设置。通过CRC-32编码后为4字节。Datanode 在保存数据前负责验证checksum。client 会把数据和校验和一起发送到一个由多个datanode 组成的队列中，最后一个Da

2013-12-03 15:42:43 4062