Hive的split函数，使用多个分隔符分割字符串

最新推荐文章于 2022-11-22 14:27:39 发布
最新推荐文章于 2022-11-22 14:27:39 发布
阅读量1w 收藏 7
点赞数 2
分类专栏： 大数据 hive 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Greahow/article/details/82965933
版权

Hive的split函数，使用多个分隔符分割
♠ ♥ ♦ ♣ 该文章仅为平时的笔记，非商用，如有侵权请联系博主删除 ♣ ♦ ♥ ♠

在数据清洗时，有时候数据长得各种各样，例如年龄段就有：20-100岁、20—100岁、20~100岁、20~100岁各种看似一样，实际不相同的分隔符，使用split函数时就显得有点尴尬：regexp_extract(string subject, string pattern, int index)

此时，如果结合正则表达式来处理，就会很好解决：split('20~100','-|~|—|~')，无论以上哪种分隔符，都可以分割出来。

仅作为日常笔记使用，有点简单，大家有什么想法也可以交流哟~

blueasdfg
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive如何处理多分隔符数据
sunlei1980的专栏
06-23 6785
问题描述：     大数据维稳需求中，客户提供的测试数据为多个字符做分隔符('|#'),在pig中会直接报错，hive中只认第一个分隔符。 由于数据量比较大（160G），在文本中替换成单个字符分隔符已不现实，以下提供两个方案解决这一问题。   样例数据 110|#警察 120|#医院 方案1：利用hive自带的序列化/反序列化的方式RegexSe  
hive函数大全
01-09
- 字符串连接函数“concat”，带分隔符字符串连接函数“concat_ws”。 - 字符串截取函数“substr”和“substring”。 - 字符串转换大小写函数“upper”、“ucase”和“lower”、“lcase”。 - 去空格函数“trim”，...
截取用,分割的字符串中的第n个字符串 SQL
10-09
aaa,bbb,ccc n=2时 截取结果 bbb 很明白了吧 哈
Hive中split函数用法，切分多个分隔符分割字符串
是故事啊~关注我~
11-22 3583
在处理数据时，发现存入的字段数据分隔符多种多样，包含了英文逗号，中文逗号，中文顿号等奇葩符号混杂在数据中，可以使用split函数进行切分。
hive：函数：split
不花的花和尚的博客
06-23 2251
split函数： 示例1： select regexp_replace(regexp_replace(split(ManageBranchNos,'\\}\\{'), '\\{', ''), '\\}', '') from ods_aimsen_base_regionhistories 注意：以上是通过“}{” 进行分割，然后把{ 和} 都替换为空，如处理{aaa}{bbb}这样的数据 示...
12.Hive多分隔符支持实战
大勇若怯任卷舒
06-11 386
12.1 实验目标描述 要将多个字符作为字段分割符的数据文件加载到Hive表中，事例数据如下： 字段分隔符为“@#$” test1@#$test1name@#$test2value test2@#$test2name@#$test2value test3@#$test3name@#$test4value 如何将上述事例数据加载到Hive表(multi_delimiter_test)中，表结构如下： Hive在0.14及以后版本支持字段的多分隔符 12.2 实验操作 实验环境说明 实验环
hive多分隔符的解决方案
diaojiao1307的博客
09-22 155
题记： 　　近期在做某个大型银行的大数据项目，当在处理非结构化数据时，却发现他们给的数据并不符合hive和pig的处理要求，数据每行必须需要多个分割符才能完美处理，一下午也没有想到完美的办法解决，今天重新审视了一下整个过程。看来hive的命令行没法搞定了。于是乎，只能通过代码来搞定。 1、重新实现hive的InputFormat了，别急放码过来 1 package ...
Hive SQL 常见函数
最新发布
02-26
`CONCAT` 用于字符串拼接，而 `SPLIT` 则用于将字符串按照指定的分隔符进行分割。 **语法示例：** ```sql CONCAT(string1, string2, ...) SPLIT(string, delimiter) ``` **应用场景：** 例如，构建新的目录路径： ...
Hive常用函数
04-07
- **字符串连接**：`concat` 和 `concat_ws` 函数用于连接多个字符串，`concat_ws` 还允许指定分隔符。 3. **应用场景**： - **分区排序**：Hive 的分区功能可以极大地提高查询效率，配合窗口函数可用于时间序列...
hive函数大全(举例和目录)
07-12
本文档将详细介绍Hive中各种常用的函数及其用法，并通过示例帮助理解每个函数的功能。 #### 一、关系运算 ##### 1. 等值比较 `=` 用于比较两个表达式的值是否相等。 **示例**： ```sql SELECT * FROM table WHERE ...
hive之regexp_replace函数、split函数的正则
yuxeaotao的博客
04-28 8561
Hive中，regexp_replace函数的第2个参数是正则表达式，第3个参数是字符串 select split(regexp_replace(data,'\\},\\{','}||{'),'\\|\\|')[0]as test from (select '[{"source":"7fresh","monthSales":4900,"userCount":1900,"score":"...
Hive 获取数组最后一个元素
热门推荐
BITDDD小栈
01-23 1万+
引言: 通过split分割当前字段获取数组，并得到最后一个索引的元素，通过hive怎么实现，下面通过不同方法一一验证可行性。 字段样式shopList : productA,productB,productC 表名 shopTable : shopListTable 一.通过 split + size 获取 - 失败 hive -e " select split(shopList,',')[size(split(shopList,','))-1] from shopTable.....
hive split函数_数据分析EPHS(10)Hive中的explode使用全解
weixin_39717865的博客
12-01 307
好了，接下来咱们来看看如何在Hive中实现一行转多行的操作，主要介绍explode和posexplode函数的使用。沿用上一节的数据，从简单到复杂，咱们一步步来。1、数据介绍先看下我们的数据，主要包括三列，分别是班级、姓名以及成绩，数据表名是default.classinfo。2、单列Explode首先来看下最基本的，我们如何把student这一列中的数据由一行变成多行。这里需要使用sp...
Hive学习笔记：split函数分割字符串
u011250186的博客
04-02 4799
语法 split(str string, regex string) -- 使用 regex 分割字符串 str 返回值为一个数组。 基本用法 select split('a,b,c,d', ',') from temp_cwh_test; -- 分割 -- 结果为数组 ["a","b","c","d"] 截取字符串中某个值 select split('a,b,c,d', ',')[0] from temp_cwh_test; -- 提取第1个值 a 可以指定提取结果数组中...
Hive多字符列分割
数据科学汇集
05-23 5014
Hive多字符分割列 1 简介 此手册应用于hive建表时指定列按照多字段分割的情景。 2 准备 2.1 环境说明 hive版本: 1.1.0-cdh5.4.7 3 使用 3.1 使用说明 方法一)通过org.apache.hadoop.hive.contrib.serde2.RegexSerDe格式的serde。 1) 建表语句 #指定以^|~作为分隔符 CRE
hive分隔符_Hive踩过的坑-hive多个分隔符的问题
weixin_39861054的博客
12-19 716
今天就说说hive多个分隔符的问题。多分隔符(列)这个问题，也是之前同事给我一份文件我才发现的...这份文件上列分隔符是@#|hive建表时,ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|' 直接用@#|，发现输出的字段和文件不一致。CREATE EXTERNAL TABLE IF NOT EXISTS hjx_temp_ua_190605(id St...
hive函数 -- split 字符串分割函数
AcceptedLin的博客
06-13 4202
hive函数 -- split 字符串分割函数 hive字符串分割函数 split(str, regex) - Splits str around occurances that match regex Time taken: 0.769 seconds, Fetched: 1 row(s) 返回值为一个数组 a.基本用法： split('a,b,c,d',',') 得到的结果： ["a","b","c","d"] b.截取字符串中的某个值...
hive split函数
05-28
Hive中的SPLIT函数用于将一个字符串按照指定的分隔符分割成一个数组。其语法如下： ``` SPLIT(str, delimiter) ``` 其中，`str`为要分割的字符串，`delimiter`为分隔符。例如，将一个逗号分隔的字符串分割成数组，可以使用如下语句： ``` SELECT SPLIT('a,b,c', ','); ``` 执行结果为： ``` ["a","b","c"] ``` 注意，SPLIT函数返回的是一个数组，可以通过下标获取数组中的元素。例如，获取数组中第一个元素的语句为： ``` SELECT SPLIT('a,b,c', ',')[0]; ``` 执行结果为： ``` a ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值