hadoop
商亮
算法和数据结构就是编程的一个重要部分,你若失掉了算法和数据结构,你就把一切都失掉了。
展开
-
FAILED: Error in metadata: MetaException(message:Got exception: java.net.ConnectException Call to ha
这个必须记一笔:今天在安装配置完hive后,进入了hive的命令行执行show databases时抛出一下错误:FAILED: Error in metadata: MetaException(message:Got exception: java.net.ConnectException Call to hadoop0/192.168.0.10:9000 failed on c原创 2014-12-01 20:15:19 · 1076 阅读 · 0 评论 -
BloomFilter 简介及在 Hadoop reduce side join 中的应用
BloomFilter 简介及在 Hadoop reduce side join 中的应用 1、BloomFilter能解决什么问题? 以少量的内存空间判断一个元素是否属于这个集合, 代价是有一定的错误率 2、工作原理 1. 初始化一个数组, 所有位标为0, A={x1, x2, x3,…,xm} (x1转载 2014-12-02 17:03:38 · 613 阅读 · 0 评论 -
Hadoop的Partition解析
目录(?)[-]解析Partition代码实例1.解析PartitionMap的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。Mapper的结果,可能送到Combiner做合并,Combiner在系统中并没有自己的基类,转载 2014-12-03 13:26:00 · 432 阅读 · 0 评论 -
HIVE 窗口及分析函数
原文转载自:http://www.07net01.com/linux/HIVE_chuangkoujifenxihanshu_yingyongchangjing_532180_1373989446.html窗口函数应用场景:(1)用于分区排序(2)动态Group By(3)Top N(4)累计计算(5)层次查询一、分析函数用于等级、百分点、n分片等。转载 2015-01-12 14:07:36 · 631 阅读 · 1 评论