MapReduce
商亮
算法和数据结构就是编程的一个重要部分,你若失掉了算法和数据结构,你就把一切都失掉了。
展开
-
BloomFilter 简介及在 Hadoop reduce side join 中的应用
BloomFilter 简介及在 Hadoop reduce side join 中的应用 1、BloomFilter能解决什么问题? 以少量的内存空间判断一个元素是否属于这个集合, 代价是有一定的错误率 2、工作原理 1. 初始化一个数组, 所有位标为0, A={x1, x2, x3,…,xm} (x1转载 2014-12-02 17:03:38 · 581 阅读 · 0 评论 -
MapReduce中两表join的几种方案
转载自:http://my.oschina.net/leejun2005/blog/95186 原文本未删改。 1. 概述 在传统数据库(如:MYSQL)中,JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作,同样常见且耗时,由于Hadoop的独特设计思想,当进行JOIN操作时,有一些特殊的技巧。 本文首先介绍了Hadoop上通常的JOIN实现方法,然后转载 2014-12-12 16:14:13 · 715 阅读 · 0 评论