Hive中支持正则表达式根据需求输出指定的列

最新推荐文章于 2022-08-16 10:30:37 发布
最新推荐文章于 2022-08-16 10:30:37 发布
阅读量1.9k 收藏 11
点赞数 1
分类专栏： 大数据 Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cuichunchi/article/details/109999526
版权

本人采用hive-1.1版本

需要使用hive的正则表达式，需要设置hive的参数

set hive.support.quoted.identifiers=none

表中的数据以及列名如下：

日常工作中我们需要用到两种方式：

第一种：过滤调不需要的列名

如下：SELECT `(id|100name)?+.+` from st;

不需要id和100name的列名

第二种：需要某些有相似性的列名

如下：SELECT `.+name` from st;

需要以name为后缀的所有列名

 

cuichunchi
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hive技巧-选出某些列其余所有的列
流风雨情的博客
03-06 9601
HIVE中select除了某些字段之外的剩余所有字段 这是HIVE中查询语句的一个小技巧，一个表字段太多，我们想要除个别字段外的剩余所有字段，全部列出来看起来难受，实际上hive语句可以解决这个问题。 Hive 0.13.0之后，select列表支持正则表达式了 insert overwrite table tb2 partition(dt=xx, hr=xx) select * from ...
Hive中利用正则表达式过滤列名
Fantastic_Liar的博客
07-26 2708
Hive中利用正则表达式过滤列名 Hive 0.13.0之后，select列表支持正则表达式了，如果想要查询除了某个列以外的其他字段的内容，可以使用以下方式，而不是把字段名全部敲出来了。 select `(col_name1|col_name2|col_name3)?+.+` from table; 其中col_name* 是指不要查询的列名。 ...
Hive中利用正则表达式选择除指定列名以外的列的SQL语法
笔记本
07-15 2682
HiveSQL利用正则表达式可以选取指定的列，不用写出所有列名 select `(anything)?+.+` from dual ; anything可以换成任意列名，多个列名之间用“|”连接 如果从多个表取数,则可以在表达式前面加表别名 select a.`(anything)?+.+` ,b.`(anything)?+.+` from table_a a left outer ...
[hive]在使用正则选择列名时，列名是怎样的
胖胖的博客
01-27 948
select * from test.student1; select * from test.student2; set hive.support.quoted.identifiers=none; select t.* from ( select student1.`(name1)?+.+`, student2.name1 from student1 join student2 on student1.id = student2.id..
Hive select 语句大量技巧
RayfunC的博客
05-19 2793
hive 查询操作： 1、列匹配正则表达式 select 查询列使用正则表达式匹配列，hive 0.13 版本之前直接用。0.13 及后续版本需要开设置 hive 的属性 set hive.support.quoted.identifiers=none;...
Hive 编程专题 一 ： 使用正则指定输出列
wujiandao的专栏
11-04 1416
环境： Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例： select type,nameobject,`*date` from tblobj2 limit 10 ; 错误: 1 - 使用 Oracle SQL Developer 执行上述 HQL 语句报错： [Cloudera][HiveJDBCDriver](500051...
Hive正则表达式
晓晓的天空
08-16 1万+
Hive正则表达式
Hive-sql常用正则函数
baidu_38432186的博客
07-19 1135
1、%：模糊查询的通配符 使用场景： 模糊查询然后进行剔除测试数据，例：客户名称 not like ‘%测试%’ 模糊搜索查询 如查询test表中如下数据： （1）查询name以“张”开头的数据： select * from test where name like ‘张%’; （2）查询name以“三”年结尾的数据： select * from test where name like ‘%三’; （3）查询name中包含“测试”的数据： select * from test where name l
hivezzy:添加partition支持正则表达式
06-04
在Hive中，Partition是数据组织的一种策略，用于提高查询性能和管理大量数据。通常，Partition是基于数据的某个或多个列（如日期、地区等）进行的，使得查询能够直接定位到特定的数据块，避免全表扫描。然而，原生的...
正则表达式实现匹配连续数字的方法
10-20
我这两天刚刚学正则表达式。我觉的正则对连续的字符匹配很简单，但是对连续的一段数字匹配就不是很好。正好最近有朋友问了匹配连续数字的正则，就帮忙写了一下，算是当作温习一下吧。下面这篇文章就主要介绍了正则...
正则表达式大全
05-03
正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"）。 正则表达式使用单个字符串来描述、...许多程序设计语言都支持利用正则表达式进行字符串操作。
电话号码及日期时间提取(正则表达式 C)
10-09
C语言本身并不直接支持正则表达式，但可以借助第三方库如PCRE（Perl Compatible Regular Expressions）来实现。在这个项目中，开发人员可能已经将PCRE库集成到代码中，使得C语言能够处理复杂的正则匹配任务。 电话...
HIVE多行转多列 和 多列转多行
01-07
1、HIVE多行转多列 源数据样式 把CAMERA_NO，RESULT_DATA两列转换为CAMERA_NO字段的数据为列名，RESULT_DATA字段对应CAMERA_NO的数据为值 方法一：利用str_to_map函数 alter table ods.iot.iot_5060_iotdaq.5060_...
hive 正则表达式详解
热门推荐
bitcarmanlee的博客
04-09 9万+
hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。1.regexp语法: A REGEXP B 操作类型: strings 描述: 功能与RLIKE相同select count(*) from olap_b_dw_hotelorder_f where create_date_wid not regexp
HIVE 通过正则匹配 字段分列
松篁
01-25 818
通过 SerDe(serialize/deserialize) ，在数据序列化和反序列化时格式化数据。 这种方式稍微复杂一点，对数据的控制能力也要弱一些，它使用正则表达式来匹配和处理数据，性能也会有所影响。但它的优点是可以自定义表属性信息 SERDEPROPERTIES ，在 SerDe 中通过这些属性信息可以有更多的定制行为。 原数据类型： "abc"@_@123@_@"192.1...
hive中的正则表达式及其应用
数据小白的进阶之路
07-20 6万+
今天来说一下hive中的正则表达式，主要包含：元字符匹配、位置匹配、频率匹配 1、元字符匹配 (.)   表示匹配除换行符以外的任意字符。 (\w) 表示匹配字母、下划线、数字或汉字(\\W)。 (\d) 表示匹配数字 (\s) 表示匹配任意的空白符 ([ ])  表示匹配方括号中任一字符 ([^匹配内容]) 表示匹配方括号中任一字符 2、位置匹配 (^) 表示匹配字符串的开始，...
Java学习记录——正则表达式（部分）、输入输出
weixin_44099043的博客
02-22 543
正则表达式 实例 ^\d+(.\d+)? 其中 ^ 定义了以什么开始 \d+ 匹配一个或多个数字 ? 设置括号内的选项是可选的 . 匹配 “.” 可以匹配的实例：“5”, “1.5” 和 “2.21”。 语法 在其他语言中，\ 表示：我想要在正则表达式中插入一个普通的（字面上的）反斜杠，请不要给它任何特殊的意义。 在 Java 中，\ 表示：我要插入一个正则表达式的反斜线，所以其后的字符具有特殊的意义。 所以，在其他的语言中（如 Perl），一个反斜杠 \ 就足以具有转义的作用，而在 Java 中正则表达式
sqoop支持Hcatalog使用hcatalog参数后问题集锦
cuichunchi的博客
11-18 8251
官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_purpose_4 问题描述： sqoop1.4.6 hadoop2.7.3 hive-2.1.1 本人编写的sqoop脚本如下： 参数解释： --hcatalog-database 指定HCatalog表的数据库名称。如果未指定，default则使用默认数据库名称。提供--hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的.
hive中使用正则表达式去除列值中的单引号
最新发布
06-09
在Hive中使用正则表达式去除列值中的单引号，可以使用`regexp_replace`函数。具体语法如下： ``` SELECT regexp_replace(column_name, "'", "") FROM table_name; ``` 其中，`column_name`是需要处理的列名，`...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值