Hive函数及性能优化

Hive函数分类
从输入输出角度分类
标准函数：一行数据中的一列或多列为输入，结果为单一值
聚合函数：多行的零列到多列为输入，结果为单一值
表生成函数：零个或多个输入，结果为多列或多行
从实现方式分类
内置函数
自定义函数
UDF：自定义标准函数
UDAF：自定义聚合函数
UDTF：自定义表生成函数
内置函数
Hive提供大量内置函数供开发者使用
标准函数
字符函数
类型转换函数
数学函数
日期函数
集合函数
条件函数
聚合函数
表生成函数
字符函数：
返回值 函数 描述
string concat(string|binary A, string|binary B…) 对二进制字节码或字符串按次序进行拼接
int instr(string str, string substr) 查找字符串str中子字符串substr出现的位置
int length(string A) 返回字符串的长度
int locate(string substr, string str[, int pos]) 查找字符串str中的pos位置后字符串substr第一次出现的位置
string lower(string A) /upper(string A) 将字符串A的所有字母转换成小写/大写字母
string regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT) 按正则表达式PATTERN将字符串中符合条件的部分替换成REPLACEMENT所指定的字符串
array split(string str, string pat) 按照正则表达式pat来分割字符串str
string substr(