hive
j3smile
专注于分布式计算、数据挖掘。坚韧平和,不浮躁。
展开
-
HIVE的CTAS用法探究
文章转载自:量子恒道官方博客HIVE的CTAS用法探究Posted by lengchuan on 2011 年 4 月 29 日Leave a commentGo to comments最近在使用ADM系统的时候遇到一个问题,ADM在自动将HIVE QL包装成CTAS之后,由于HIVE内部缺省使用’N’来存储NULL,这样就会产生一个问题,因为我们处理的很多结转载 2012-08-14 14:27:43 · 4123 阅读 · 0 评论 -
hive udaf 返回复杂类型
package com.hive.customertag;import java.util.ArrayList;import java.util.regex.Matcher;import java.util.regex.Pattern;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache原创 2014-02-17 16:34:39 · 5725 阅读 · 0 评论 -
hive 高级结构
•array类型访问: A[n]•map类型访问: M[key]•struct类型访问: S.x• array 类型访问 : A[n]语法: A[n]操作类型: A为array类型,n为int类型说明:返回数组A中的第n个变量值。数组的起始下标为0。比如,A是个值为['foo', 'bar']的数组类型,那么A[0]将返回'foo',而A[1转载 2014-02-17 10:25:17 · 801 阅读 · 0 评论 -
hive 细节测试
hive> select * from test_1; OK11NULL2Time taken: 0.064 secondsselect count(distinct id) from test_1;2原创 2014-02-13 10:56:53 · 554 阅读 · 0 评论 -
hive 语法错误 小节
FAILED: Error in semantic analysis: DISTINCT on different columns not supported with skew in data原创 2013-12-07 13:26:30 · 1458 阅读 · 0 评论 -
hive学习记录
2012.08.07python中运行hive>>> command = "hive -e " + "\"" + load data inpath '/fenxi_system/cs/20120612/sms_20120612' overwrite into table s_sms partition(stat_time='20120612') + "\"" File原创 2012-08-10 10:30:04 · 704 阅读 · 0 评论 -
hive 正则
case when length(regexp_extract(receiver_mobile,"^(1(3[4-9]|4[7]|5[012789]|8[23478])\\d{8})$",1))!=0 then "福建移动"原创 2013-12-07 10:17:29 · 791 阅读 · 0 评论 -
hive 动态分区 分区数太多出错
insert overwrite table lobehaviour_trade_daily partition (part) select dp_id, buyer_nick, to_date(created), payment, 0 as item, if(to_date(modified)from taobao.s_trade_hbase where (partdistrib原创 2013-10-30 17:33:56 · 3596 阅读 · 0 评论 -
ubuntu下hive安装
hadoophive版本0.9.0下载hive0.9.0版本:http://mirror.bjtu.edu.cn/apache/hive/hive-0.9.0/解压 tar zxvf hive-0.9.0.tar.gz配置:$$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp$$ $HADOOP_HOME/bin/hadoop原创 2012-08-17 13:49:14 · 1702 阅读 · 0 评论 -
hive 客户端结果乱码
insert overwrite table lobehaviour_daily_keep partition (part) select dp_id, buyer_nick, created, (case when sum(trade_tidcount)>0 then created else null end) as trade_created, sum(trade_tidc原创 2014-02-26 17:57:56 · 2750 阅读 · 0 评论