Hadoop/Hive/HBase
文章平均质量分 78
wangzhun0129
这个作者很懒,什么都没留下…
展开
-
hive随谈(hive操作create,alter等)
转载自:http://www.cnblogs.com/tangtianfly/archive/2012/06/29/2569944.html Hive 的官方文档中对查询语言有了很详细的描述,请参考:http://wiki.apache.org/hadoop/Hive/LanguageManual ,本文的内容大部分翻译自该页面,期间加入了一些在使用过程中需要注意到的事项。 Create转载 2013-11-25 17:03:00 · 531 阅读 · 0 评论 -
Hive+UDTF简单示例
UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。 我们来看一个简单的例子。 现在有一个名为studentScore.txt的文本,里面的内容如下: A 90原创 2013-11-27 17:34:30 · 1339 阅读 · 0 评论 -
Hive+UDAF简单示例
在之前的一篇博文中,演示了一个使用通用UDTF来计算总分的小示例,下面用UDAF来做这个工作。 1.编写UDAF。 package com.wz.udf; import org.apache.hadoop.hive.ql.exec.UDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; impor原创 2013-11-28 16:47:48 · 2889 阅读 · 0 评论 -
Hive+GenericUDF示例一
和UDF相比,通用GDF(GenericUDF)支持复杂类型(比如List,struct等)的输入和输出。 下面来看一个小示例。 某表中包含若干人的行程如下: A 2013-10-10 8:00:00 home A 2013-10-10 10:00:00 Super Market A 201原创 2013-12-02 14:59:58 · 3203 阅读 · 2 评论 -
hive原生和复合类型的数据加载和使用
转载自:http://www.cnblogs.com/ggjucheng/archive/2013/01/31/2868941.html 原生类型 原生类型包括TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY (Hive 0.8.0以上才可用),TIMESTAMP (Hive 0.8.0以上才可用),这些数据加载很转载 2013-12-09 14:41:24 · 546 阅读 · 0 评论 -
Hive+GenericUDF示例二
再来看一个分数统计的小例子。 在Hive中存在如下一张表: hive> describe tb_test2; OK name string score_list array> Time taken: 0.074 seconds hive> select * from tb_test2; OK A [{"math":100,"english":90,"history":85}原创 2013-12-09 14:32:34 · 2549 阅读 · 1 评论 -
HBase MapReduce实例分析
转载自:http://www.cnblogs.com/NicholasLee/archive/2012/09/14/2685053.html 跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便,本文将介绍HBase下 MapReduce开发要点。很好理解本文前提是你对Hadoop MapReduce有一定的了解,如果你是初次接触Hadoop M转载 2013-12-12 15:26:58 · 2291 阅读 · 0 评论