2013年09月_-早起的码农

11月 10月 09月 07月 06月 05月 03月 02月

转载 linux sort,uniq,cut,wc命令详解

sortsort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。sort语法[root@www ~]# sort [-fbMnrtuk] [file or stdin]选项与参数：-f ：忽略大小写的差异，例如 A 与 a 视为编码相同；-b ：忽略最前面的空格符部分；

2013-09-10 16:13:51 1935

在《疫苗：Java HashMap的死循环》中，我们看到，java.util.HashMap并不能直接应用于多线程环境。对于多线程环境中应用HashMap，主要有以下几种选择：使用线程安全的java.util.Hashtable作为替代。使用java.util.Collections.synchronizedMap方法，将已有的HashMap对象包装为线程安全的。使用java.util.concu

2013-09-09 14:35:47 1719

原创数据结构实现

（一）二分法查找二分法查找其实就是折半查找，一种效率较高的查找方法。针对有序数组来查找的。主要思想是：（设查找的数组期间为array[low, high]）（1）确定该期间的中间位置K（2）将查找的值T与array[k]比较。若相等，查找成功返回此位置；否则确定新的查找区域，继续二分查找。区域确定如下：a.array[k]>T 由数组的有序性可知array[k,k+1,……,high]>T;故新的

2013-09-05 22:40:55 1902

原创 Mapreduce实例-分组排重（group by distinct）

实现一下几个类,代码太多，列了下主要代码，可根据排重数据的特征判读是否需要添加combiner来提速。 public class GroupComparator implements RawComparator { @Override public int compare(MyBinaryKey o1, MyBinaryKey o2) { return o1.toString(

2013-09-05 22:17:26 4586

原创 mapreduce实例-Join连接 (reduce Side Join)

public class ReduceSideJoin extends Configured implements Tool { public static class UserJoinMapper extends Mapper { private Text outkey = new Text(); private Text outvalue

2013-09-05 21:35:16 3065

原创 Mapreduce实例-sort全排序

public class SamplerInputFormat extends FileInputFormat { static final String PARTITION_FILENAME = "_partition.lst"; static final String SAMPLE_SIZE = "terasort.partitions.sample"; pr

2013-09-05 19:32:05 3633 1

原创 Mapreduce实例-TopK

public class TopK extends Configured implements Tool { public static class TopKMapper extends Mapper { public static final int K = 100; private TreeMap tm = new TreeMap();

2013-09-05 19:24:13 2683