Hive的字符串操作

截取

substr、substring

--用法1:
-- substr（string A，int start）和 substring（string A，int start），用法一样
-- 功效：返回字符串A从下标start位置到结尾的字符串,下标从1开始
select substr('hello-world',7);	-- world

--用法2:
-- substr（string A，int start，int len）和 substring（string A，int start，int len），用法一样
-- 功效：返回字符串A从下标start位置开始，长度为len的字符串
select substr('hello-world',7,3);	-- wor

--用法3:
-- 还可以从后向前截取，负数表示从后面第几位开始截取
select substr('hello-world',-2);	-- ld

切割

split

--根据某个字符或字符串对原字符串进行切割,最终得到一个数组，然后根据数组下标取想要的数据
select split('123,abc,大中小'，',')[0];
:'
123
'

替换

regexp_replace

--相当于mysql中的replace
select regexp_replace('abc','a','888'); --888bc 将原字符串'abc'中的'a'替换为'888'
select regexp_replace('abc123def','[0-9]','M'); --abcMMMdef 将原字符串中的数字替换为'M'
select regexp_replace('[hello.world]','\\[,\\]',''); --hello.world 将字符串[hello.world]的中括号去掉

:'
在我们的hive表中存在某些特殊字符和hive表的列分隔符号或者行分隔符冲突的时候，会导致数据串列串行，所以可以使用以下方式进行对应符号的替换，进行解决。
使用正则替换:
'
regexp_replace(需要处理的字段名称,'\\n|\\r|\\t','') as 重新命名

regexp_extract

--对具有某一特征的数据进行分割
log:{"status":0,"startTime":"2021-03-31 14:40:19","endTime":"2021-03-31 14:40:32","totalTime":"12939s",}
select 
regexp_extract(log,'"status":(.*?)(,)',1) as status,
regexp_extract(log,'"startTime":(.*?)(,)',1) as startTime,
regexp_extract(log,'"endTime":(.*?)(,)',1) as endTime,
regexp_extract(log,'"totalTime":(.*?)(,)',1) as totalTime
from table;

:'
0
"2021-03-31 14:40:19"
"2021-03-31 14:40:32"
"12939s"
'

包含

有张表cluster，表中数据为：ABC-PRD-DEF

需求：
判断是生产环境还是开发环境,PRD-生产环境    DEV-开发环境

方法1:使用函数

直接使用字符串包含的函数看是否包含PRD、DEV,但是此方法不准确,因为如果某个子字符串中恰巧包含PRD这3个字符,就会判断错误

--instr函数(如果值为0,说明不包含; 如果值为非0,说明包含,显示的是查找字符串第一次出现的位置)
select instr(name,'PRD') from cluster;
--locate函数(如果值为0,说明不包含; 如果值为非0,说明包含,显示的是查找字符串第一次出现的位置)
select locate('PRD',name) from cluster;

:'
instr(str,substr)=locate(substr,str)
1.instr和locate都可以判断substr在str首次出现的位置.
2.二者的参数顺序相反
3.找不到都是返回0
'

方法2:借助数组

--先将字符串截取成array数组,再通过array_contains函数判断
--array_contains()函数如果包含所需字符串,就返回true,不包含返回false
select array_contains(split(name,'-'),'PRD') from cluster;