hive 函数（三）

最新推荐文章于 2022-02-13 20:25:53 发布
最新推荐文章于 2022-02-13 20:25:53 发布
阅读量286 收藏 1
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39150719/article/details/100113977
版权

  1. If 函数: if
    语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)
    返回值: T
    说明: 当条件 testCondition 为 TRUE 时，返回 valueTrue；否则返回 valueFalseOrNull
    举例：
    hive> select if(1=2,100,200) from lgy;
    200
    hive> select if(1=1,100,200) from lgy;
    100

  2. 非空查找函数: COALESCE
    语法: COALESCE(T v1, T v2, …)
    返回值: T
    说明: 返回参数中的第一个非空值；如果所有值都为 NULL，那么返回 NULL
    举例：
    hive> select COALESCE(null,‘100’,'50′) from lgy;
    100

  3. 条件判断函数：CASE
    语法: CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END
    返回值: T
    说明：如果 a 等于 b，那么返回 c；如果 a 等于 d，那么返回 e；否则返回 f
    举例：
    hive> Select case 100 when 50 then ‘tom’ when 100 then ‘mary’ else ‘tim’ end from
    lgy;
    mary
    hive> Select case 200 when 50 then ‘tom’ when 100 then ‘mary’ else ‘tim’ end from
    lgy;
    tim

  4. 条件判断函数：CASE
    语法: CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END
    返回值: T
    说明：如果 a 为 TRUE,则返回 b；如果 c 为 TRUE，则返回 d；否则返回 e
    举例：
    hive> select case when 1=2 then ‘tom’ when 2=2 then ‘mary’ else ‘tim’ end from lgy;
    mary
    hive> select case when 1=1 then ‘tom’ when 2=2 then ‘mary’ else ‘tim’ end from lgy;
    tom

  5. 字符串连接函数：concat
    语法: concat(string A, string B…)
    返回值: string
    说明：返回输入字符串连接后的结果，支持任意个输入字符串
    举例：
    hive> select concat(‘abc’,'def’,'gh’) from lgy;
    abcdefgh

  6. 带分隔符字符串连接函数：concat_ws
    语法: concat_ws(string SEP, string A, string B…)
    返回值: string
    说明：返回输入字符串连接后的结果，SEP 表示各个字符串间的分隔符
    举例：
    hive> select concat_ws(’,’,‘abc’,‘def’,‘gh’) from lgy;
    abc,def,gh

  7. 数组转换成字符串的函数：concat_ws
    语法: concat_ws(string SEP, array)
    返回值: string
    说明：返回将数组链接成字符串后的结果，SEP 表示各个字符串间的分隔符
    举例：
    hive> select concat_ws(’|’,array(‘a’,‘b’,‘c’)) from lgy;
    OK
    a|b|c

  8. 小数位格式化成字符串函数：format_number
    语法: format_number(number x, int d)
    返回值: string
    说明：将数值 x 的小数位格式化成 d 位，四舍五入
    举例：
    hive> select format_number(5.23456,3) from lgy;
    OK
    5.235

  9. 字符串截取函数：substr,substring
    语法: substr(string A, int start),substring(string A, int start)
    返回值: string
    说明：返回字符串 A 从 start 位置到结尾的字符串
    举例：
    hive> select substr(‘abcde’,3) from lgy;
    cde
    hive> select substring(‘abcde’,3) from lgy;
    cde
    hive> select substr(‘abcde’,-1) from lgy; （和 ORACLE 相同）
    e

  10. 字符串截取函数：substr,substring
    语法: substr(string A, int start, int len),substring(string A, int start, int len)
    返回值: string
    说明：返回字符串 A 从 start 位置开始，长度为 len 的字符串
    举例：
    hive> select substr(‘abcde’,3,2) from lgy;
    cd
    hive> select substring(‘abcde’,3,2) from lgy;
    cd
    hive>select substring(‘abcde’,-2,2) from lgy;
    de

  11. 字符串查找函数：instr
    语法: instr(string str, string substr)
    返回值: int
    说明：返回字符串 substr 在 str 中首次出现的位置
    举例：
    hive> select instr(‘abcdf’,‘df’) from lgy;
    OK
    4

  12. 字符串长度函数：length
    语法: length(string A)
    返回值: int
    说明：返回字符串的长度
    举例：
    hive> select length(‘abc’) from lgy;
    OK
    3

  13. 字符串查找函数：locate
    语法: locate(string substr, string str[, int pos])
    返回值: int
    说明：返回字符串 substr 在 str 中从 pos 后查找，首次出现的位置
    举例：
    hive> select locate(‘a’,‘abcda’,1) from lgy;
    OK
    1
    hive> select locate(‘a’,‘abcda’,2) from lgy;
    OK
    5

  14. 字符串格式化函数：printf
    语法: printf(String format, Obj… args)
    返回值: string
    说明：将指定对象用 format 格式进行格式化.
    举例：
    hive> select printf("%08X",123) from lgy;
    OK
    0000007B

  15. 字符串转换成 map 函数：str_to_map
    语法: str_to_map(text[, delimiter1, delimiter2])
    返回值: map<string,string>
    说明：将字符串按照给定的分隔符转换成 map 结构.
    举例：
    hive> select str_to_map(‘k1:v1,k2:v2’) from lgy;
    OK
    {“k2”:“v2”,“k1”:“v1”}
    hive> select str_to_map(‘k1=v1,k2=v2’,’,’,’=’) from lgy;
    OK
    {“k2”:“v2”,“k1”:“v1”}

  16. 字符串转大写函数：upper,ucase
    语法: upper(string A) ucase(string A)
    返回值: string
    说明：返回字符串 A 的大写格式
    举例：
    hive> select upper(‘abSEd’) from lgy;
    ABSED
    hive> select ucase(‘abSEd’) from lgy;
    ABSED

  17. 字符串转小写函数：lower,lcase
    语法: lower(string A) lcase(string A)
    返回值: string
    说明：返回字符串 A 的小写格式
    举例：
    hive> select lower(‘abSEd’) from lgy;
    absed
    hive> select lcase(‘abSEd’) from lgy;
    absed

  18. 去空格函数：trim
    语法: trim(string A)
    返回值: string
    说明：去除字符串两边的空格
    举例：
    hive> select trim(’ abc ') from lgy;
    abc

  19. 左边去空格函数：ltrim
    语法: ltrim(string A)
    返回值: string
    说明：去除字符串左边的空格
    举例：
    hive> select ltrim(’ abc ') from lgy;
    abc

  20. 右边去空格函数：rtrim
    语法: rtrim(string A)
    返回值: string
    说明：去除字符串右边的空格
    举例：
    hive> select rtrim(’ abc ') from lgy;
    abc

  21. 正则表达式替换函数：regexp_replace
    语法: regexp_replace(string A, string B, string C)
    返回值: string
    说明：将字符串 A 中的符合 java 正则表达式 B 的部分替换为 C。注意，在有些情况下要
    使用转义字符,类似 oracle 中的 regexp_replace 函数。
    举例：
    hive> select regexp_replace(‘foobar’, ‘oo|ar’, ‘’) from lgy;
    fb

  22. 正则表达式解析函数：regexp_extract
    语法: regexp_extract(string subject, string pattern, int index)
    返回值: string
    说明：将字符串 subject 按照 pattern 正则表达式的规则拆分，返回 index 指定的字符。
    举例：
    hive> select regexp_extract(‘foothebar’, ‘foo(.?)(bar)’, 1) from lgy;
    the
    hive> select regexp_extract(‘foothebar’, 'foo(.    ?)(bar)’, 2) from lgy;
    bar
    hive> select regexp_extract(‘foothebar’, ‘foo(.?)(bar)’, 0) from lgy;
    foothebar
    注意，在有些情况下要使用转义字符，下面的等号要用双竖线转义，这是 java 正则表
    达式的规则。
    select data_field,
    regexp_extract(data_field,’.    ?bgStart\=([^&]+)’,1) as aaa,
    regexp_extract(data_field,’.?contentLoaded_headStart\=([^&]+)’,1) as bbb,
    regexp_extract(data_field,’.    ?AppLoad2Req\=([^&]+)’,1) as ccc
    from pt_nginx_loginlog_st
    where pt = ‘2012-03-26’ limit 2;

  23. URL 解析函数：parse_url
    语法: parse_url(string urlString, string partToExtract [, string keyToExtract])
    返回值: string
    说明：返回 URL 中指定的部分。partToExtract 的有效值为：HOST, PATH, QUERY, REF,
    PROTOCOL, AUTHORITY, FILE, and USERINFO.
    举例：
    hive> select parse_url(‘http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1’, ‘HOST’) from
    lgy;
    facebook.com
    hive> select parse_url(‘http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1’, ‘QUERY’, ‘k1’)
    from lgy;
    v1

  24. 空格字符串函数：space
    语法: space(int n)
    返回值: string
    说明：返回长度为 n 的字符串
    举例：
    hive> select space(10) from lgy;
    hive> select length(space(10)) from lgy;
    10

  25. 重复字符串函数：repeat
    语法: repeat(string str, int n)
    返回值: string
    说明：返回重复 n 次后的 str 字符串
    举例：
    hive> select repeat(‘abc’,5) from lgy;
    abcabcabcabcabc

  26. 左补足函数：lpad
    语法: lpad(string str, int len, string pad)
    返回值: string
    说明：将 str 进行用 pad 进行左补足到 len 位
    举例：
    hive> select lpad(‘abc’,10,‘td’) from lgy;
    tdtdtdtabc
    注意：与 GP，ORACLE 不同，pad 不能默认

  27. 右补足函数：rpad
    语法: rpad(string str, int len, string pad)
    返回值: string
    说明：将 str 进行用 pad 进行右补足到 len 位
    举例：
    hive> select rpad(‘abc’,10,‘td’) from lgy;
    abctdtdtdt

  28. 分割字符串函数: split
    语法: split(string str, string pat)
    返回值: array
    说明: 按照 pat 字符串分割 str，会返回分割后的字符串数组
    举例：
    hive> select split(‘abtcdtef’,‘t’) from lgy;
    [“ab”,“cd”,“ef”]

  29. 集合查找函数: find_in_set
    语法: find_in_set(string str, string strList)
    返回值: int
    说明: 返回 str 在 strlist 第一次出现的位置，strlist 是用逗号分割的字符串。如果没有找
    该 str 字符，则返回 0
    举例：
    hive> select find_in_set(‘ab’,‘ef,ab,de’) from lgy;
    2
    hive> select find_in_set(‘at’,‘ef,ab,de’) from lgy;
    0

微风凉
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive自定义函数（字母大小写转换）
madman
03-19 8671
自定义Hive的函数，首先需要继承UDF类，然后定义方法名字为evaluate的方法，该方法不能设置void，如果需要返回为空，可以返回为null. 一个简单的大小写转换案例 特别注意看注释 package com.madman.hive.function; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.h...
Hive 常用函数
Vicky_Tang
06-17 1万+
--常用函数 --算术运算符：+ - * / % --关系运算符： == <> > >= < <= --逻辑运算符：and or not --数学函数 --1.pmod(±n,m) ----------------------------------------------------------------- select pmod(-3,5); (-3+n*5)%5 ...
Hive自定义函数
zhangMY12138的博客
01-13 335
一、hive为我们提供的函数 hive给我们提供了一些内置函数，比如截取字符串，大小写转换 此处距离substr 1、首先模仿sql建立一个伪表dual create table dual(id string); 2、准备数据 在本地创建一个文档，dual.txt，内容为一个空格或者空行 3、加载数据到表格 load data local inpath '/root/dual....
hive学习4：hive自定义函数
每天进步一点
10-21 1726
以创建转换字符串大小写为例： 1、搭建java项目，把hive安装包下libjar包添加进去。 2、创建转换字符串大小类，必须继承UDF类 package com.zsy.hive.udf; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.hive.ql.exec.UDF; /** * 转换...
Hive函数大全.pdf
09-09
三、类型转换函数 Hive允许将一种数据类型转换为另一种，例如`CAST(a AS INT)`将字符串a转换为整数，`TO_DATE(date_string)`将日期字符串转换为日期类型。 四、条件函数 `IF()`、`CASE WHEN THEN ELSE END`等函数...
hive函数大全.doc
05-19
以下是对"hive函数大全.doc"文档中提到的部分知识点的详细解释： ### 一、关系运算： 1. **等值比较**（=）：用于判断两个表达式是否相等，返回布尔结果。例如，`column1 = column2`会返回`true`如果两列的值相同，...
hive窗口函数
01-09
#### 三、基础窗口函数详解 本文将详细介绍SUM、AVG、MIN、MAX等基础函数，并通过具体的例子来说明它们的使用方法。 ##### 1. SUM SUM函数用于计算某个字段的总和。在窗口函数中，它可以用来计算分组内的累计总和...
hive函数简介
09-09
【Hive函数简介】 Hive 是一个基于 Hadoop 的数据仓库工具，它的主要目标是让非程序员能够方便地对大规模数据进行分析。Hive 提供了一个类似 SQL 的查询语言，称为 HiveQL，使得用户无需编写 MapReduce 程序就能...
第十记·java自定义Hive函数（大小写转换）、hiveserver2服务与jdbc客户端、hive常用sql
玖局下半的博客
07-10 898
一.Java自定义hive函数 --首先创建一个maven项目 --导入jar 添加pom.xml --创建Java文件 -- 打成jar包并上传到hive 二、hiveserver2服务与jdbc客户端 -- 启动hiveserver2服务 --配置、启动beelin客户端 --Java使用JDBC链接数据库 --Hive的配置模式分为三种 --Fetch的三种模式 三、常用的Hql语句
printf函数的使用
XHfight的博客
06-01 441
#include int main() {     int i = 10;  int j = 20;  char p[] = "Hello World!";  char *q = &p;  printf("%d\n",i);  printf("i = %d j = %d\n",i,j);  printf("Hello Worl!\n");  printf("%s\n",q);  printf(q)
Hive----Hive进阶操作(二) 函数
XiaodunLP的博客
02-03 601
目录 Hive 函数  3.1、Hive 内置函数  3.2、Hive 自定义函数 UDF 3.2.1、一个简单的 UDF 示例  3.2.2、Json 数据解析 UDF 开发  3.2.3、Transform 实现  Hive 函数  3.1、Hive 内置函数  1、内容较多，见《Hive 官方文档》 https://cwiki.apache.org/confluenc...
Hive常用函数 -- 字符串函数
storm_fury
03-12 6123
首字符ascii函数：ascii 语法: ascii(string str) 返回值: int 说明：返回字符串str第一个字符的ascii码 hive&gt; select ascii('abcde') from iteblog; 97 字符串反转函数：reverse 语法: reverse(string A) 返回值: string 说明：返回字符串A的反转结果 hive&gt; s...
Hive函数大全
m0_43405302的博客
02-13 6473
一、数学函数 1、取整函数: round 1.函数描述 返回值 语法结构 功能描述 double round(double a) 返回double类型的整数值部分（遵循四舍五入） 2.例程 hive> select round(10.235); #---- 10.0 #---- 2、指定精度取整函数: round 1.函数描述 返回值 语法结构 功能描述 double round(double a, int d) 返回指定精度d的double类型 2.例程 h
hive官网函数-中文说明文档
热门推荐
hello_java_lcl的博客
06-11 1万+
关系运算符 以下运算符比较传递的操作数，并根据操作数之间的比较是否成立来生成TRUE或FALSE值。 操作员 操作数类型 描述 A = B 所有原始类型 如果表达式A等于表达式B，则为TRUE，否则为FALSE。 A == B 所有原始类型 =运算符的同义词。 A <=> B
hive原生和复合类型的数据加载和使用
weixin_33800463的博客
01-31 151
原生类型 原生类型包括TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY (Hive 0.8.0以上才可用),TIMESTAMP (Hive 0.8.0以上才可用)，这些数据加载很容易，只要设置好列分隔符，按照列分隔符输出到文件就可以了。 假设有这么一张用户登陆表 CREATE TABLE login ( u...
shell获取hive查询数据结果_使用shell+awk完成Hive查询结果格式化输出
weixin_39762856的博客
12-21 821
好久不写，一方面是工作原因，有些东西没发直接发，另外的也是习惯给丢了，内因所致。今天是个好日子，走起！btw，实际上这种格式化输出应该不只限于某一种需求，差不多是通用的。需求：--基本的：当前Hive查询结果存在数据与表头无法对其的情况，不便于监控人员直接查看，或者导出到excel中，需要提供一个脚本，将查询结果处理下，便于后续的查看或者操作。--额外的：A、每次查询出来的结果字段数、字段长度不固...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值