hive
文章平均质量分 74
inte_sleeper
这个作者很懒,什么都没留下…
展开
-
hive动态分区
在hive中,有时候会希望根据输入的key,把结果自动输出到不同的目录中,这可以通过动态分区来实现,就是把每一个key当作一个分区,代码示例如下:set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.dynamic.partitions.pern原创 2011-11-30 20:00:33 · 6476 阅读 · 0 评论 -
hive lateral view语句
原文地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView#lateral view用于和split, explode等UDTF一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。一个简单的例子,假设我们有一张表pageAds,它有两列数据,第一列是pagei转载 2012-01-12 14:11:46 · 23541 阅读 · 0 评论 -
hive QL(HQL)简明指南
同事整理的,大部分原文摘过来,有少量改动。1. 基本数据类型tinyint , smallint, int, bigint, float, double, boolean: true/false, string2. 基础运算符与函数A IS NULL 空A IS NOT NULL 非空 A LIKE B 模糊匹配A RLIKE B转载 2012-02-06 14:59:05 · 4642 阅读 · 0 评论 -
HIVE的表操作语句
转自:http://hi.baidu.com/zhangxinandala/item/49752510cc7ad08789a956171.创建表的语句:Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT tabl转载 2012-08-11 16:21:26 · 2201 阅读 · 0 评论 -
hive动态分区与静态分区
HIVE分区,实际上是通过一个路径来标识的,而不是在物理数据中。比如每天的数据,可能分区是pt=20121023这样,那么路径中它就会变成:/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是,如果我们需要取特定分区的数据,只需要把这个路径下的数据取出来就可以了,不用扫描全部的数据。HIVE默认是静态分区。但是有时候可能需要动态创建不同的分区,比如商品原创 2012-10-24 11:52:06 · 3825 阅读 · 1 评论