2015年06月_笔尖的痕

12月 11月 10月 08月 07月 06月 05月 04月 03月 01月

转载 Hadoop2.2.0已经遗弃的属性名称

Hadoop自升级到2.x版本之后，有很多属性的名称已经被遗弃了，虽然这些被遗弃的属性名称目前还可以用，但是这里还是建议用新的属性名，主要遗弃的属性名称主要见下面表格：已经被遗弃属性的名称新的属性名称create.empty.dir.if.nonexistmapreduce.jobcontrol.createdir.ifnotexistdfs.a

2015-06-22 11:26:28 1656

转载 Hadoop开发常用的InputFormat和OutputFormat

在用hadoop的streaming读数据时，如果输入是sequence file，如果用“-inputformat org.apache.hadoop.mapred.SequenceFileInputFormat”配置读的话，读入的数据显示的话为乱码，其实是因为读入的还是sequence file格式的，包括sequencefile的头信息在内.改为“inputformat org.apache

2015-06-13 20:54:11 1124

转载 BloomFilter 简介及在 Hadoop reduce side join 中的应用

1、BloomFilter能解决什么问题? 以少量的内存空间判断一个元素是否属于这个集合, 代价是有一定的错误率 2、工作原理 1. 初始化一个数组, 所有位标为0, A={x1, x2, x3,…,xm} (x1, x2, x3,…,xm 初始为0) 2. 将已知集合S中的每一个数组, 按以下方式映射到A中 2.0

2015-06-13 20:22:06 991 1

转载 MapReduce TotalOrderPartitioner 全局排序

我们知道Mapreduce框架在feed数据给reducer之前会对map output key排序，这种排序机制保证了每一个reducer局部有序，Hadoop 默认的partitioner是HashPartitioner，它依赖于output key的hashcode，使得相同key会去相同reducer，但是不保证全局有序，如果想要获得全局排序结果（比如获取top N, bottom N

2015-06-13 20:20:44 684