HIVE常用的字符串处理函数

已于 2022-06-29 16:47:27 修改
阅读量867 收藏 3
点赞数 1
分类专栏： HIVE 文章标签： 大数据
于 2022-06-24 21:36:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yellow_python/article/details/125441714
版权
本文详细介绍了SQL中常用的字符串操作，包括截取、替换、正则表达式、拼接、分割、去除空格及大小写转换。同时，讲解了如何使用SQL进行JSON对象的解析，提取关键信息。通过实例演示，帮助读者掌握这些实用技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最低0.47元/天 解锁文章
Hive SQL 精进系列：字符串拼接的三种常用方式
进一步有进一步的欢喜~
03-12 1180
在Hive里，主要存在`||`操作符、`CONCAT`函数和`CONCAT_WS`函数这三种字符串拼接方式，它们各自具备独特的特点，适用于不同的应用场景。
Hive -e时的双引号和反斜杠问题
Python_Billy的博客
03-28 3729
今天用hive -e 测试split(column, “\.”)的时候发现有个坑，记录一下。 建表语句： create table movie ( name string, category string ) row format delimited fields terminated by "\t"; 数据准备movie.txt： 《疑犯追踪》 悬疑.动作.科幻.剧情 《Lie to me》 悬疑.警匪.动作.心理.剧情 《战狼 2》 战争.动作.灾难 插入语句： load data local in
hive字符串字段去掉特殊字符”
热门推荐
暮雨听轩的专栏
03-29 4万+
 select  replace("5307927","\"","") ;用replace，且要转义符。
转义字符\（在hive+shell以及java中注意事项）：正则表达式的转义字符为双斜线,split函数解析也是正则...
weixin_30781631的博客
10-10 573
转义字符 将后边字符转义，使特殊功能字符作为普通字符处理，或者普通字符转化为特殊功能字符。 各个语言中都用应用，如java、python、sql、hive、shell等等。 如sql中 "\"" "\'" "\t" "\n" sql中直接输出 " ' ta...
hive：sparksql：针对反斜杠的正则替换问题
不花的花和尚的博客
04-27 3697
hive中如何替换反斜杠： sparksql中如何替换反斜杠： select position_name,code,senior_name,parent_code,level from position_name_data pnd right join senior_function_data sfd on regexp_replace(sfd.senior_name,'\\\\'...
hive -e 和hive -f 的注意点 (//和////)
lsr40的博客
08-10 3万+
原谅我张嘴可能就想骂人，当然跟别人无关，想骂的是自己太年轻，也顺便记录下这个注意点。 菜鸟一只，多多见谅！！   大家都知道，hive -f 后面指定的是一个文件，然后文件里面直接写sql，就可以运行hive的sql，hive -e 后面是直接用双引号拼接hivesql，然后就可以执行命令。 但是，有这么一个东西，我的sql当中有一个split切割，暂且先不管这个分割的业务逻辑是什么，但是...
Hive UDF字符串匹配函数
u011135852的博客
08-28 776
1、需求 用逗号分隔的细粒度子串（match_str）与粗粒度字符串（source_str）匹配，如果粗粒度子串和细粒度子串的交集，交集按照中文排序，形成以逗号分隔的字符串返回 2、UDF函数:MatchString import org.apache.hadoop.hive.ql.exec.UDF; import java.util.ArrayList; import java.util.Collections; public class StringMatch extends UDF {..
Hive常用的数学函数以及字符串函数
非凡哥的博客
06-29 820
本篇文章只先列举一些关于Hive的数学函数和字符串函数，别的Hive函数如集合函数、聚合函数、窗口函数等暂且不表。 一、数学函数（都说是数学函数了当然函数的参数都是数值啦） -- 1、pow(a,b) //求a的b次方 select pow(2,3); +------+ | _c0 | +------+ | 8.0 | +------+ select pow(4,1/2); +------+ | _c0 | +------+ | 2.0 | +------+ -- 注：power()作用与pow
Hive字符串函数-空格处理
日常分享数据分析开发、编程语言内容
08-16 7061
Hive字符串函数-空格处理
hive语句遇到的反斜杠问题
无知是恶
10-29 3127
需求：regexp_replace(字段wfss,’\\’,’&’) 匹配wfss里数据包含反斜杠’\’，然后再给它替换成’&’, 一开始我只给了两个反斜杠，运行会报错， 搜了一圈，需要四个才行：regexp_replace(字段wfss,’\\\\’,’&’) 后来配调度脚本的时候，加了hive -e"…" 结果报了如下错误： Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execut
SQL:怎么去除字段数据末尾的斜杠/
m0_49303490的博客
03-16 1585
SQL:怎么去除字段数据末尾的斜杠/
hive--去除特殊字符regexp_replace
qq_46893497的博客
06-29 1万+
文章目录regexp_replace`'\t abc \n def \r hij'`→ `' abc def hij'``'\t abc \n def \r hij'`→`'abcdefhij'`看一下其他的情况 regexp_replace '\t abc \n def \r hij'→ ' abc def hij' select regexp_replace('\t abc \n def \r hij', '\n|\t|\r|', ''); ' abc def hij' '\t abc \n
python脚本使用hive正则表达式斜杠问题
me_to_007的博客
08-05 1390
HIVE正则语句中反斜杠问题说明
hive 补全多个字段的空值(间隔多个空值或连续多个空值)，取字段上一条非空记录的值
从此一心向前，别无它念
08-24 7061
在实际业务中，有一个需求中有如下要求，对多个字段中出现的空值补上一次非空的值，主要用来默认市场数据平稳，其中可能出现连续多个空值或者多次间隔的空值，LAG函数只能解决一个null的补数问题，不能解决多个连续的null值补数，在网上有使用自定义udf的方法，但是使用并不方便，不利于日常的开发，现推荐一种使用hql代码的方式直接实现上述需求，简洁方便，高效代码如下： 测试数据： 测试代码如下： se...
HIVE针对反斜杠的正则替换问题
a95473004的博客
02-28 1万+
最近收到一份需求： 有两张表 one  和  two . 两张表都有一个字段name,现在要求从one 导入到two 中。 要求是            name字段有可能为空 ,在HIVE中默认是用"\N"来表示空，也就是ONE表在HDFS上文件包含"\N"。            同时表ONE的NAME字段中有可能包含"\r"的转行符。
Hive截取指定位子或字符后面的数据
holiday0520的博客
03-08 7433
Hive截取指定字符后面的数据，博客中分别介绍了三种不同的方法，其中包含substr()函数，instr()函数，字符串反转函数reverse()，regexp_extract()正则匹配函数，split()分割函数的使用
【Hive】文本中的特殊字符处理\t\r\n
喜东东的博客
05-29 2万+
这几天处理存储于json字段中的html文本，碰到特殊字符导致数据与字段错位，很是烦躁。 \t：tab，跳格（移至下一列） \r：回车 \n：换行 解决方法： 1、修改表存储格式<失败> 2、regexp_replace<替换> hive> select regexp_replace('\t abc \n def \r hij', '\n|\t|\r',...
Hive处理掉数据中/n/t
someInNeed的博客
11-02 1787
regexp_replace(需要处理的字段名称,'\\n|\\r|\\t','') as 重新命名
hive -e的反斜杠
qq_37743098的博客
06-16 1483
hive -e的坑： 实际只有一千多的数据 hive -e跑出来要九千多条。。。。。。 ================================= 因为sql里面有\\ 所以需要四个反斜杠\\\\ 这样就好了 ...
hive中常用的字符串函数
最新发布
09-06
Hive 中提供了一系列的字符串函数来帮助处理和转换字符串数据。以下是一些常用的Hive字符串函数： 1. concat.ws()：使用指定的分隔符连接字符串。例如，`concat.ws('-', 'a', 'b', 'c')` 将返回 "a-b-c"。 2. substr()：用于截取字符串。例如，`substr('foobar', 3, 2)` 将返回 "ba"。 3. length()：返回字符串的长度。例如，`length('foobar')` 将返回 6。 4. lower()：将字符串中的所有字符转换为小写。例如，`lower('FOOBAR')` 将返回 "foobar"。 5. upper()：将字符串中的所有字符转换为大写。例如，`upper('foobar')` 将返回 "FOOBAR"。 6. trim()：去除字符串两端的空白字符。例如，`trim(' foobar ')` 将返回 "foobar"。 7. ltrim()：去除字符串左侧的空白字符。例如，`ltrim(' foobar')` 将返回 "foobar"。 8. rtrim()：去除字符串右侧的空白字符。例如，`rtrim('foobar ')` 将返回 "foobar"。 9. replace()：替换字符串中的字符或子字符串。例如，`replace('foobar', 'foo', 'bar')` 将返回 "barbar"。 10. split()：将字符串按照指定的分隔符进行分割。例如，`split('foo,bar', ',')` 将返回一个数组["foo", "bar"]。 11. concat()：连接两个或多个字符串。例如，`concat('foo', 'bar')` 将返回 "foobar"。 12. regexp_replace()：使用正则表达式来替换字符串中的字符或子字符串。例如，`regexp_replace('foobar', 'ooba', 'xx')` 将返回 "fox"。 13. initcap()：将每个单词的首字母转换为大写，其余为小写。例如，`initcap('foo bar')` 将返回 "Foo Bar"。 14. left()：返回字符串最左边的指定数量的字符。例如，`left('foobar', 3)` 将返回 "foo"。 15. right()：返回字符串最右边的指定数量的字符。例如，`right('foobar', 3)` 将返回 "bar"。 这些函数在处理Hive中的字符串数据时非常有用，能够帮助用户实现各种字符串操作和数据转换。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值