qq_46893497的博客

数值运算取整函数: round指定精度取整函数: round向下取整函数: floor向上取整函数: ceil向上取整函数: ceiling取随机数函数: rand自然指数函数: exp以10为底对数函数: log10以2为底对数函数: log2对数函数: log幂运算函数: pow幂运算函数: power开平方函数: sqrt二进制函数: bin十六进制函数: hex反转十六进制函数: unhex进制转换函数: conv绝对值函数: abs正取余函数: pmod正

Hive数学运算加法操作: +减法操作: -乘法操作: *除法操作: /取余操作: %位与操作: &位或操作: |位异或操作: ^位取反操作: ~加法操作: +语法: A + B操作类型：所有数值类型说明：返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int + int 一般结果为int类型，而int + double 一般结果为double类型举例：hive> select 1 + 9 from

字符串函数字符串长度函数：length字符串反转函数：reverse字符串连接函数：concat带分隔符字符串连接函数：concat_ws字符串截取函数：substr,substring字符串截取函数：substr,substring字符串转大写函数：upper,ucase字符串转小写函数：lower,lcase去空格函数：trim左边去空格函数：ltrim右边去空格函数：rtrim正则表达式替换函数：regexp_replace正则表达式解析函数：regexp_extract

条件函数If函数: if非空查找函数: COALESCE条件判断函数：CASEIf 函数 : if语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)返回值: T说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull举例：hive> select if(1=2,100,200) from dual;200hive> selec

逻辑运算与数学运算Hive数学运算加法操作: +减法操作: -乘法操作: *除法操作: /取余操作: %位与操作: &位或操作: |位异或操作: ^位取反操作: ~加法操作: +语法: A + B操作类型：所有数值类型说明：返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int + int 一般结果为int类型，而int + double 一般结果为double类型举例：hive> select 1

Hive的parse_url函数parse_url(url, partToExtract[, key]) - extracts a part from a URL解析URL字符串，partToExtract的选项包含【host,path,query,ref,protocol,file,authority,userinfo】举例 ：select parse_url('http://facebook.com/path/p1.php?query=1', 'PROTOCOL') from dua

分析函数：ROW_NUMBER、RANK、DENSE_RANK、NTILE总结:ROW_NUMBER、RANK、DENSE_RANK --并列的话123 113 112ROW_NUMBER功能：用于实现分区内记录编号语法：row_number() over (partition by col1 order by col2)RANK功能：用于实现分区内排名编号[会留空位]语法：rank() over (partition by col1 order by col2)DENSE_

窗口函数：LAG、LEAD、FIRST_VALUE、LAST_VALUE总结FIRST_VALUE功能：取每个分区内某列的第一个值语法：FIRST_VALUE(col) over (partition by col1 order by col2)LAST_VALUE功能：取每个分区内某列的最后一个值语法：LAST_VALUE(col) over (partition by col1 order by col2)注意：默认窗口是从第一条到当前条LAG功能：取每个分区内某列的

窗口聚合函数：SUM、AVG、COUNT、MAX、MIN总结功能：用于实现数据分区后的聚合语法：fun_name(col1) over (partition by col2 order by col3)示例：实现分区内的累加，其他的原理类似不指定窗口时,不排序默认第一行到最后一行,排序默认第一行到当前行指定窗口时 --rows between 起始位置 and 结束位置N preceding：往前多少行N following：往后多少行current row：当前行un

--创建原始数据表：用户id、电影id、用户评分、用户的观影时间CREATE TABLE u_data ( userid INT, movieid INT, rating INT, unixtime STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'STORED AS TEXTFILE;--加载数据:load data local inpath '/export/datas/u.data' into table u_data

Hive中处理json数据的两种方式第一种：将json数据作为字符串进行处理使用函数：get_json_object：解析json数据，返回对应的数据json_tuple：UDTF函数案例：--创建数据：vim /export/datas/hivedata.json{"id": 1701439105,"ids": [2154137571,3889177061],"total_number": 493}{"id": 1701439106,"ids": [2154137571,3889177

reflect功能：用于在Hive中直接调用Java中类的方法用法：reflect(classname,method,args)案例：select reflect("java.util.UUID", "randomUUID");select reflect("java.lang.Math","max",20,30);select reflect("org.apache.commons.lang.math.NumberUtils","isNumber","123");...

一、lateral view分类：视图功能：配合UDTF来使用,把某一行数据拆分成多行数据很多的UDTF不能将结果与源表进行关联，使用lateral view ，可以将UDTF拆分的单个字段数据与原始表数据关联上使用方式：select …… from tabelA lateral view UDTF(xxx) 视图名 as a,b,c案例：--准备数据:vim /export/datas/lateral.txt1 http://facebook.com/path/p1.php?q

UDF：一对一开发udf程序：继承UDF类，实现一个或者多个evaluate方法打成jar包上传jar包到集群中，并添加到hive的环境变量中，在hive中执行add jar /export/datas/udf.jar;创建临时函数：create temporary function transDate as 'bigdata.hanjiaxiaozhi.cn.hive.udf.UserUDF';测试函数：select transDate("18/Aug/2019:12:3

第一部分：关系运算常见的关系运算符等值比较: =不等值比较: <>小于比较: <小于等于比较: <=大于比较: >大于等于比较: >=空值判断: IS NULL非空判断: IS NOT NULLLIKE比较: LIKEJAVA的LIKE操作: RLIKEREGEXP操作: REGEXP等值比较: =语法：等值比较：A=B操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE举例：hive>