Hive
wangqiaowqo
我思故我在,欢迎大家来访!
展开
-
insert overwrite local directory
insert overwrite local directory '/home/hadoop/data' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select appId, category from focus_test_log1;原创 2014-03-04 17:06:04 · 3212 阅读 · 0 评论 -
创建两个partition的hive表
1、创建两个partition的hive表[code="java"]CREATE EXTERNAL TABLE t_result_analysis_web_stat( appid int, type string, key string, statdate string, uv string, pv string, extra str...原创 2014-11-24 18:59:37 · 687 阅读 · 0 评论 -
Hive中join, outer join, semi join区别
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。最常用的就是多表关联查询,主要讲解下join、outer join和semi join的具体使用。join是最简单的关联操作,两边关联只取交集。outer join分为left outer join、rig...原创 2015-09-14 16:01:49 · 156 阅读 · 0 评论 -
hive json 查询
hive json 查询select count(1), get_json_object(datainfo, '$.dataInfo.domainFlag') from t_origin_ugc_stat_online where datecol='2015-05-28' and appid=1000 and category='user.reg' group by get_json_...原创 2015-05-29 11:26:35 · 234 阅读 · 0 评论 -
hive的不等查询只能放在where条件中
[code="java"]/opt/hive-0.9.0/bin/hive -e "use ent;select distinct c.userid from (select a.userid ,a.stat_date from t_result_channel_login_user_detail a inner join (select fk_origin_user,datecol from...原创 2015-04-20 10:42:33 · 424 阅读 · 0 评论 -
hive语法
http://pan.baidu.com/share/link?shareid=372909&uk=34400340&fid=115236157http://wenku.baidu.com/link?url=MQRl3qs3DDjrwu52Dm7fWvgpbs9wkMQCXmCf9MdqcCs1anwUp57sIIwCu9Z_6DG6K3O2ZQQ9VxJNYE7n7P4d8Ao8_0Re...原创 2014-04-17 11:44:51 · 95 阅读 · 0 评论 -
Hive 导出本地文件
[code="java"]insert overwrite local directory '/home/yule/test' select distinct userid from t_origin_ugc_stat_online where datecol = '2015-03-29' and ugctype = 't_chat';[/code]参考 http://www....原创 2015-04-03 16:28:45 · 83 阅读 · 0 评论 -
row_number用法
[code="java"]/opt/hive-0.9.0/bin/hive -e "use ent;add jar /work/yule/online/fastjson-1.1.31.jar;add jar /work/yule/online/JsonValueByKey.jar; create temporary function jsonkey as 'cn.focus.hadoop.so...原创 2015-03-31 15:09:51 · 103 阅读 · 0 评论 -
hive udf ip的实现
http://my.oschina.net/wangjiankui/blog/263994原创 2014-08-13 19:32:43 · 453 阅读 · 0 评论 -
hive udf使用
add jar /home/work/udf.jar;create temporary function mytest as 'test.udf.ToLowerCase';add jar /work/yule/online/LogTimeToDetailDate.jar;create temporary function logtime as 'cn.focus.hadoop....原创 2014-03-19 10:23:10 · 88 阅读 · 0 评论 -
Hive null 值的处理
NULL值的处理遗漏的值被代表为特殊值NULL。 要导入NULL字段的数据,需要查阅使用的SerDe的文档。 (默认的文本格式使用LazySimpleSerDe的解释字符串\ N为NULL),如将查询结果输出到文件,若为NULL,则字段值显示为\Nhttp://yugouai.iteye.com/blog/1849192hive空值处理sqoop会自动把NULL转换为n...原创 2014-08-05 17:39:17 · 323 阅读 · 0 评论 -
查看hive版本
查看hive版本1.执行hive命令2.在克隆窗口下执行jps,查到进程号7225 RunJar3.执行lsof -g 7225 | grep hive,查看加载到的hive相关jar包[code="java"]16:34 [yule@a02.hive.hadoop.qingdao.youku]$ jps52821 Jps52647 RunJartty:...原创 2016-03-21 16:35:23 · 576 阅读 · 0 评论