hive
民谣书生
只为成功找方法,不为失败找借口!
展开
-
hive操作总结
https://blog.csdn.net/sxf1061926959/article/details/83783027原创 2018-11-09 20:22:17 · 256 阅读 · 0 评论 -
纠正别人博客中的hive问题
因为有业务需求,所以查看了几篇别人的博客,发现有错误的地方:1.http://www.cnblogs.com/mobiwangyue/p/8328758.html2.https://www.jianshu.com/p/51599bab0c00为了验证业务需求的做法,特地模拟了一些假的数据做相关demo,数据如下:1. hive2. show databases;3. us...原创 2019-05-13 15:50:33 · 222 阅读 · 0 评论 -
SQL优化:hive中的over和各个函数综合应用
1.使用over子句与rows_number()以及聚合函数进行使用,可以进行编号以及各种操作。而且利用over子句的分组效率比group by子句的效率更高。2.在订单表(order)中统计中,生成这么每一条记录都包含如下信息:“所有订单的总和”、“每一位客户的所有订单的总和”、”每一单的金额“#代码如下select customerID,SUM(totalPrice) ov...原创 2019-05-13 09:22:37 · 999 阅读 · 1 评论 -
业务分析:hive下的分组求占比情况
在业务中与见一个占比情况,做了一个小demo,以供自己参考元数据:实现的形式#方式一with demo as (select cookieid as cookieid,pv as pv,sum(pv) over() as total,pv/sum(pv) over() percentfrom pv_web)select cookieid,sum(p...原创 2019-05-05 12:58:55 · 16596 阅读 · 2 评论 -
[Hive]Lateral View使用指南
https://blog.csdn.net/sunnyyoona/article/details/62894761原创 2019-04-19 09:31:56 · 455 阅读 · 0 评论 -
hive业务数据逻辑-非常用函数
--device_report//爽客数据分析需求//设备表with temp_table1 as (select t1.report_date,-- 日期转化 date_format(t1.report_date,'yyyyMMdd') as dashboard_day, t1.place_code, -- nvl函数是判断gr...原创 2019-04-18 10:49:09 · 425 阅读 · 0 评论 -
hive行转列,列转行实践
drop table demo;create table demo(test1 string,test2 string,id string)row format delimited fields terminated by '\t'stored as textfile;或者1.建表drop table demo;create table demo(test1...原创 2019-04-26 11:04:08 · 772 阅读 · 0 评论 -
Python连接Hive(基于PyHive)
遇见的坑1.连hive之前安装pyhs2,结果发现要sasl,发现sasl还不能安装,需要到https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl这里下载对应的包,我的得python3.7-win7安装好sasl之后,紧接着安装pysh2是可以了。https://blog.csdn.net/a6822342/article/det...原创 2019-04-16 08:45:21 · 2681 阅读 · 0 评论 -
hive时间函数问题的业务问题
在hive中要实现-- 留存收益值select t1.report_date,now_amount,seven_amount,month_amount FROM (SELECT report_date,sum(total_amount) AS now_amount FROM jt_sk_ods.place_report t1 GROUP BY report_date) t1LE...原创 2019-04-10 16:59:42 · 298 阅读 · 0 评论