HIVE使用regexp_replace替换string特殊字符

最新推荐文章于 2024-01-15 20:29:06 发布
最新推荐文章于 2024-01-15 20:29:06 发布
阅读量3.3k 收藏 1
点赞数
分类专栏： hive shell 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zcb_data/article/details/126172008
版权
hive 同时被 2 个专栏收录
13 篇文章 0 订阅
订阅专栏
shell
7 篇文章 0 订阅
订阅专栏

文本中存在特殊字符，导致string转JSON时报错，可以使用regexp_replace对文本内容进行替换

select  regexp_replace(STRING,obp.PRODUCT_NAME),' |\u0000|\u0001|\u0002|\u0003|\u0004|\u0005|\u0006|\u0007|\u0008|\u0009|\u000a|\u000b|\u000c|\u000d|\u000e|\u000f|\u0010|\u0011|\u0012|\u0013|\u0014|\u0015|\u0016|\u0017|\u0018|\u0019|\u001a|\u001b|\u001c|\u001d|\u001e|\u001f|\u007F|\n|\"|\t|\r|\f|\b|\/|\\\\','')

注意，sql放到shell脚本中，\需要转义，如下：

select  regexp_replace(STRING,obp.PRODUCT_NAME),' |\u0000|\u0001|\u0002|\u0003|\u0004|\u0005|\u0006|\u0007|\u0008|\u0009|\u000a|\u000b|\u000c|\u000d|\u000e|\u000f|\u0010|\u0011|\u0012|\u0013|\u0014|\u0015|\u0016|\u0017|\u0018|\u0019|\u001a|\u001b|\u001c|\u001d|\u001e|\u001f|\u007F|\n|\"|\t|\r|\f|\b|\/|\\\\\\\\','')

AA赵师傅
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive_jdbc_2.6.2.1002.zip
08-22
Hive 是由 Apache 软件基金会开发的一个数据仓库工具，它允许用户使用类 SQL 查询语言（HQL）来处理存储在分布式文件系统中的大规模数据。JDBC（Java Database Connectivity）则是 Java 平台的标准数据库连接接口，...
hive 使用regexp筛选和替代特殊字符
weixin_43792309的博客
06-27 4757
```sql ---替换 regexp_replace(lower(name),'[^0-9a-zA-Z\\u4e00-\\u9fa5]','') 除中文字母数字以外的字符全部替换掉 “\u4e00”和“\u9fa5”是unicode编码，并且正好是中文编码的开始和结束的两个值，所以这个正则表达式可以用来判断字符串中是否包含中文 例如： select '李中*华',--李中*华 regexp_replace(lower('李中*华' ),'[^0-9a-zA-Z\\u4e00-\\u9fa5]','.
Hive使用shell调用命令行特殊字符处理
最新发布
Brother_ning的博客
01-15 1099
数据处理常用hive -e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等处理
hive replace替换多个_批量替换 | 多行多列不同字符替换为同一字符
weixin_39714383的博客
11-23 6352
- 问题 - 前些日子，发布了文章《10万行30列数据乘上系数，能快一些吗？含“函数作为参数”的触类旁通方法》，结果有朋友留言问，是否能实现多个旧值转换为同1个新值，在Table.ReplaceValue函数里，旧值该怎么填？ 为此，我自己造了几个数据，要求把所有数据里的顿号、斜杠、下划线统一替换为横杠，如下图所示：- 方法 1 - 将需要替换的内容...
hive中特殊字符替换
朝和
10-15 1万+
1、使用regexp_replace处理数据中心的特殊字符： 用法：regexp_replace(字段,'\\\\','') 2、regexp_replace替换特殊字符： 用法实例：regexp_replace("我；们",'\\；','。')
hive替换文件中特殊字符
yuinliu的博客
01-05 1693
select regexp_replace(regexp_replace(regexp_replace(t.column_001,’\0’,’’),’\012’,’’),’\015’ ,’’) as column_001 ,regexp_replace(regexp_replace(regexp_replace(t.column_002,’\0’,’’),’\012’,’’),’\015’ ,’’) as column_002 ,regexp_replace(regexp_replace(regexp_
【Hive】字符串替换函数translate和regexp_replace
Asher117的博客
10-09 2万+
Hive中，想要替换字符串中的子字符串，可以使用translate和regexp_replace两个函数，具体如下： translate函数 格式：translate(string|char|varchar input, string|char|varchar from, string|char|varchar to) --即将input出现在from中的字符串替换成to中的字符串 eg:select translate('Asher117','Asher','Viva') >Viva117
hive字符串的分割，截取，替换与正则匹配。
热门推荐
weixin_43668299的博客
06-30 7万+
hive字符串的分割，截取，正则提取与替换。 一，字符串的分割。 split函数（分割字符串） 语法: split(string str, string pat) 返回值: array 说明: 按照pat字符串分割str，会返回分割后的字符串数组 举例： 1.基本用法 hive> select split('abcdef', 'c') from test; ["ab", "def"] 2...
hive特殊字符的替换
ShiHao_Li的博客
07-05 953
【代码】hive特殊字符的替换。
test_hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr
09-21
标题中的“test_hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr”暗示了我们讨论的主题是关于使用PHP通过Thrift接口与Hive数据仓库进行交互的一个库，具体来说，是一个名为“ThriftHive.php”的文件...
hive客户端安装_hive客户端安装_hive_
10-01
在大数据处理领域，Hive是一个非常重要的工具，它提供了一个基于Hadoop的数据仓库基础设施，用于数据查询、分析和管理大规模数据集。本教程将详细讲解如何在Linux环境下安装Hive客户端，以便进行数据操作和分析。 ...
hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc
09-23
函数重写是指Hive自动将某些函数替换为效率更高的等价表达式；谓词下推是将查询条件提前到数据读取阶段，减少无效数据的处理；计算下推则是将计算任务推送到数据源节点，减少数据传输和计算压力。 3. **Hive大数据...
Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连
09-23
在大数据处理领域，Apache Hive是一个基于Hadoop的数据仓库工具，它允许用户使用SQL（HQL，Hive Query Language）查询存储在Hadoop集群中的大型数据集。Hive JDBC（Java Database Connectivity）是Hive提供的一种...
HIVE中处理特殊字符
zlmm228的专栏
08-18 2903
一、问题描述：根据公司研发提供的加密UDF函数，进行加密(电话号码属于敏感信息需加密)后存在换行现象！ （hiveudfencode:加密UDF） 二、问题定位及解决步骤： 1)查看加密后的字段末尾是否含有换行符， 根据16进制转换的函数进行查看，发现末尾带了0D0A，就是代表\r\n 2)用hive的替换函数(regexp_replace)，对\r\n进行处理 ...
hive-java中操作hive的默认分割符\001
DCHAO的博客
07-16 2114
使用hive创建一个默认分割符的表，然后打开其hdfs上的数据文件。\001用键盘是无法打出来的，在notepad中显示为SOF。把这个SOF复制到idea中，发现是\u0001。 import org.junit.jupiter.api.Test; import java.io.*; public class hive分割符 { @Test public void t1() throws IOException { String str = "C:\\Users\\Ad
hive替换数据中的制表符和换行符
雾岛与鲸的博客
05-10 6166
使用正则替换: regexp_replace(需要处理的字段名称,'\\n|\\r|\\t','') as 重新命名
hive中 regexp_replace的用法，替换特殊字符问题
u011250186的博客
03-16 6647
目录 数据仓库中有的字段不合格，有特殊字符，比如换行符。 poi_name \n19013 \n12013 怎么把换行符替换掉呢？ https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-StringOperators regexp_replace(string INI...
去除 Hive 表中数据的引号 - Henvealf
Henvealf的博客
03-06 1万+
问题说明有时第三方提供的，导入进 Hive 表中的数据会清洗的不彻底，这里要说的就是遗留引号(“) 的问题。比如 hive> select * from test; 1 "tom" 111 2 "cat" 222 3 "jack" 333 4 "hello" 444处理后为hive> select * from test; a b c 1 tom 111 2
hive字段拆分为多行或多列
zcb_data的博客
11-20 9411
数据为Array 数据源： 1 子宫病损切除术，经宫腔镜|扩张和刮宫术，诊断性 2 胫骨内固定装置去除术|腓骨内固定装置去除术 3 腰椎穿刺术|腰椎穿刺术|腰椎穿刺术 创建语句 Create table testArray(name string, ssmc array<string> ) row format delimited fields terminated by '\t' collection items terminated by '|'; --拆分为多行： ...
hive中regexp_replace替换[]
03-28
如果要在Hive中使用regexp_replace替换[]，需要使用反斜杠来转义方括号。例如，如果要将字符串中的所有方括号替换为括号，可以使用以下语句： SELECT regexp_replace('This is a [test] string', '\\[|\\]', '()'); 结果将是： This is a ()test() string
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值