hive中 regexp_replace的用法，替换特殊字符问题

最新推荐文章于 2024-04-14 21:02:24 发布
最新推荐文章于 2024-04-14 21:02:24 发布
阅读量3.5k 收藏 3
点赞数
文章标签： 大数据 hive
原文链接：https://www.cnblogs.com/woshimrf/p/hive-string-regexp-replace-usage.html
版权

数据仓库中有的字段不合格，有特殊字符，比如换行符。

 

poi_name \n19013 \n12013

怎么把换行符替换掉呢？

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-StringOperators

regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT)

Returns the string resulting from replacing all substrings in INITIAL_STRING that match the java regular expression syntax defined in PATTERN with instances of REPLACEMENT. For example, regexp_replace("foobar", "oo|ar", "") returns 'fb.' Note that some care is necessary in using predefined character classes: using '\s' as the second argument will match the letter s; '\s' is necessary to match whitespace, etc.

官网说用两个反斜杠代替一个，即一个反斜杠用来转义。

实践了一下，不行，得4个

实践了一下，不行，得4个

实践了一下，不行，得4个

select regexp_replace(poi_name,'\\\\n','') poi_name 19013 12013

时间_实践
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive_jdbc_2.6.2.1002.zip
08-22
hive_jdbc_2.6.2.1002
hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc
09-23
大数据分析工具 hive 高级分析函数的使用与优化，笔记整理！
Hive查询之函数(一)
denglh525693的博客
11-16 252
本篇介绍了Hive函数的分类以及Hive函数之复杂类型函数,字符串函数,日期时间函数,数学函数,条件函数,类型转换函数,数学脱敏函数以及加密函数
Apache Hive 中文手册_hive_
10-04
Apache Hive 是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
hive函数及性能优化
xinxinyydss的博客
12-28 444
IF(isnull(mark),'缺考',IF(mark>=90,'优',IF(mark>=80,'良',IF(mark>=70,'中',IF(mark>=60,'及格','不及格')))))SELECT id,name,sex,mark,IF(mark>=60,'及格','不及格') `等级` FROM score;SELECT length('abc'),length('你我他');
hive换行符替换
foster_c 的博客
05-17 1480
hive处理小技巧，特殊字符替换
去除 Hive 表中数据的引号 - Henvealf
Henvealf的博客
03-06 1万+
问题说明有时第三方提供的，导入进 Hive 表中的数据会清洗的不彻底，这里要说的就是遗留引号(“) 的问题。比如 hive> select * from test; 1 "tom" 111 2 "cat" 222 3 "jack" 333 4 "hello" 444处理后为hive> select * from test; a b c 1 tom 111 2
hive函数—— regexp_replace的用法，替换特殊字符问题
热门推荐
烂笔头的专栏
03-22 3万+
数据仓库中有的字段不合格，有特殊字符，比如换行符。 poi_name \n19013 \n12013 regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT) Returns the string resulting from replacing all substrings in INITIAL_STRI...
Hive【Hive（四）函数-单行函数】
m0_64261982的博客
10-04 705
Hive函数-单行函数
[SparkSQL] regexp_replace函数使用 去除特殊隐藏字符\n\t\r
weixin_43376907的博客
08-09 1万+
REGEXP_REPLACE(inputString, regexString, replacementString) 第一个参数：表中字段 第二个参数：正则表达式 第三个参数：要替换称为的字符 函数使用起来比较简单，但是也有坑，当要匹配特殊的隐藏字符\n \r \t ,等回车符、制表符时，需要通过使用四个 \ 进行转译。 如果不去出这些隐藏字符，在我们导出数据写入文件时会产生异常，在中间进...
Hive相关
weixin_37630333的博客
06-29 1183
一.建表（分区、分桶） 1.建普通表 a.语句 CREATE table dtjd.atest ( userid int,sex string ) row FORMAT DELIMITED fields TERMINATED BY '\001' STORED AS TEXTFILE b. desc 查看表结构 2.建分区表 a.语句 CREATE table dtjd.atestuser ( userid int,sex string ) PARTITIONED BY (username string)
运用正则表达式去掉双引号或者单引号
qiaokelizhuzhu的博客
08-12 3150
运用正则表达式去掉双引号或者单引号
test_hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr
09-21
一个基于thrift的进行使用php操作hive的一个类库的封装。
hive客户端安装_hive客户端安装_hive_
10-01
基于hadoop，进行hive客户端安装与使用
消息中间件Kafka分布式数据处理平台
最新发布
Kiryu7的博客
04-14 1122
Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。
ElasticSearch的使用场景
dhdhd78273的博客
04-14 452
而且，随着你数据和查询量的增长，Elasticsearch 分布式的特性允许你的部署能随着它无缝地增长匹配。Elasticsearch 的日志解决方案（ELK 栈）可以实现秒级的数据采集到展示，提供灵活的搜索分析能力，并支持交互式分析。它支持商品搜索、应用搜索、站内搜索等功能，能够处理高并发的查询请求，提供高性能、高可用的搜索服务。但是不论你的实例与其中一个相似，还是你正使用 Elasticsearch 来解决一个新的问题，你在 Elasticsearch处理数据、文档和索引的方式是相同的。
java es相关操作
weixin_42710740的博客
04-11 719
在Elasticsearch中，评分是一个复杂的过程，它涉及到文档与查询的匹配程度。评分是基于文档与查询中的某个字段相关性来计算的。es是使用DSL语句进行查询的，java提供了相关api，生成最终的DSL语句，下面代码中的boolQueryBuilder对象中就有最终的DSL语句。四.es评分修改（评分是搜索的结果排序依据是es中一个重要的点）使用索引时的设置，如分析器，提高某些字段的重要性。创建一个新的索引，并指定所需的分片数量。将字段的评分累加到文档级别的评分中。使用函数查询，调整字段的权重。
DataX配置案例@Source：MySQL，Sink：HDFS [SQLMode] 及空值如何存储
yuanlaishidahuaa的博客
04-14 551
HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。所以后期将DataX同步的文件导入Hive表就会出现问题。#text支持gzip，orc支持snappy。Writer会将null值存储为空字符串（），而Hive默认的null值存储格式为\。# 支持orc和text。
Zookeeper集群部署
YUEAwb的博客
04-12 552
【代码】Zookeeper集群部署。
hive中regexp_replace函数
03-16
Hive中的regexp_replace函数是用来替换字符串中符合正则表达式的部分的函数。它的语法如下： regexp_replace(string, pattern, replacement) 其中，string是要进行替换的字符串，pattern是要匹配的正则表达式，replacement是要替换成的字符串。 例如，如果我们要将字符串中的所有数字替换成空格，可以使用如下语句： SELECT regexp_replace('abc123def456', '\\d+', ' '); 这个语句的输出结果是： abc def 其中，\\d+是匹配一个或多个数字的正则表达式，' '是要替换成的字符串。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值