- 博客(7)
- 资源 (11)
- 收藏
- 关注
转载 linux sort,uniq,cut,wc命令详解
sortsort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。sort语法[root@www ~]# sort [-fbMnrtuk] [file or stdin]选项与参数:-f :忽略大小写的差异,例如 A 与 a 视为编码相同;-b :忽略最前面的空格符部分;
2013-09-10 16:13:51 1935
转载 无锁HashMap的原理与实现
在《疫苗:Java HashMap的死循环》中,我们看到,java.util.HashMap并不能直接应用于多线程环境。对于多线程环境中应用HashMap,主要有以下几种选择:使用线程安全的java.util.Hashtable作为替代。使用java.util.Collections.synchronizedMap方法,将已有的HashMap对象包装为线程安全的。使用java.util.concu
2013-09-09 14:35:47 1719
原创 数据结构实现
(一)二分法查找二分法查找其实就是折半查找,一种效率较高的查找方法。针对有序数组来查找的。主要思想是:(设查找的数组期间为array[low, high])(1)确定该期间的中间位置K(2)将查找的值T与array[k]比较。若相等,查找成功返回此位置;否则确定新的查找区域,继续二分查找。区域确定如下:a.array[k]>T 由数组的有序性可知array[k,k+1,……,high]>T;故新的
2013-09-05 22:40:55 1902
原创 Mapreduce实例-分组排重(group by distinct)
实现一下几个类,代码太多,列了下主要代码,可根据排重数据的特征判读是否需要添加combiner来提速。 public class GroupComparator implements RawComparator { @Override public int compare(MyBinaryKey o1, MyBinaryKey o2) { return o1.toString(
2013-09-05 22:17:26 4587
原创 mapreduce实例-Join连接 (reduce Side Join)
public class ReduceSideJoin extends Configured implements Tool { public static class UserJoinMapper extends Mapper { private Text outkey = new Text(); private Text outvalue
2013-09-05 21:35:16 3065
原创 Mapreduce实例-sort全排序
public class SamplerInputFormat extends FileInputFormat { static final String PARTITION_FILENAME = "_partition.lst"; static final String SAMPLE_SIZE = "terasort.partitions.sample"; pr
2013-09-05 19:32:05 3633 1
原创 Mapreduce实例-TopK
public class TopK extends Configured implements Tool { public static class TopKMapper extends Mapper { public static final int K = 100; private TreeMap tm = new TreeMap();
2013-09-05 19:24:13 2683
cx-oracle instantclient-basic-win32-10.2.0.4 第一部分
2011-03-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人