hive
wyc_595998412
希望在今后5年实现以下目标:1、读最好的书 2、见最优秀的人 3、走一条属于自己的路。
展开
-
hive--白话开窗函数
在开窗函数出现之前,存在着很多用 SQL 语句很难解决的问题,很多都要通过复杂的相关子查询或者存储过程来完成。为了解决这些问题,在2003年ISO SQL标准加入了开窗函数,开窗函数的使用使得这些经典的难题可以被轻松的解决。下面通过一些简单的需求示例介绍主要的开窗函数。本例的数据源:select * from wx_tmp1;需求1:要在源表中,增加两列,全国总的gmv和各城市...原创 2018-10-04 17:58:01 · 408 阅读 · 0 评论 -
hive之开窗函数常用函数
背景:平常我们使用 hive或者 mysql时,一般聚合函数用的比较多。但对于某些偏分析的需求,group by可能很费力,子查询很多,这个时候就需要使用窗口分析函数了~注:hive、oracle提供开窗函数,mysql不提供版本:Hive 1.1.0 + cdh5.13.0一、介绍分析函数用于计算基于组的某种聚合值,它和聚合函数的不同之处是:对于每个组返回多行,而聚合函数对于每个组只...转载 2018-11-20 20:55:59 · 533 阅读 · 0 评论 -
hive之经典sql面试题
Hive sql面试select store,count(distinct uid) as uv from Visit group by store;select * from Users order by age desc, total;考点:列转行selectstage_someone, count(distinct UID)...原创 2018-11-20 20:53:52 · 30554 阅读 · 5 评论 -
hive的相关函数
一、内置函数1、数学函数(1)round:四舍五入 select round(数值,小数点位数);(2)ceil:向上取整 select ceil(45.6); --46(3)floor:向下取整 select floor(45.6); --452、字符函数(1)lower:转成小写 select lower('Hive'); ...转载 2018-11-26 15:31:17 · 369 阅读 · 0 评论 -
hive的UDF、UDAF、UDTF的区别与简单用法
UDF步骤:1.必须继承org.apache.hadoop.hive.ql.exec.UDF2.必须实现evaluate函数,evaluate函数支持重载 <span style="font-size: x-small;">package com.alibaba.hive.udf; import org.apache.hadoop.hive.ql.e...转载 2018-11-28 13:13:44 · 1434 阅读 · 0 评论 -
数仓基础
ods dw dm 的区别ODS应用场景 A. 在业务系统和数据仓库之间形成一个隔离层,ODS直接存放从各个业务系统抽取过来的数据,这些数据从结构和数据逻辑关系上和业务系统保持一致,降低了数据抽取的复杂性。它的存在可以避免数据仓库直接调用业务系统的数据。 B. 转移一部分业务系统细节查询的功能。因ODS存放的数据与业务系统相同,原来由业务系统产生的报表,现在可以从ODS中产生了。 C....翻译 2018-12-06 20:58:24 · 659 阅读 · 0 评论