Hive宏(Macro)简介

最新推荐文章于 2024-05-06 17:34:21 发布
最新推荐文章于 2024-05-06 17:34:21 发布
阅读量657 收藏
点赞数
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangzhiqi4551/article/details/119570895
版权
Hive宏提供了一种方式来抽象和重用常见的SQL逻辑，减少代码冗余，提高可读性和可维护性。本文介绍了Macro的创建、使用和销毁，通过实例展示了如何创建一个字符串拼接和求和的宏，并讨论了为什么在开发中选择使用Macro而非UDF，尤其是在处理大数据时避免潜在的OOM风险。
摘要由CSDN通过智能技术生成

最近在开发中用到了宏，用起来的确很方便，大大简化了代码，提高了可读性和可维护性，在此记录下宏的用法，以后有机会多更新一些宏的复杂用法。

什么是 Macro

在进行 Hive SQL 开发的时候，有一些逻辑需要反复使用，如果代码中每次都把所需逻辑复制粘贴一遍，不仅会造成代码冗余，还会增加维护难度，这时使用 Hive宏 对逻辑进行提炼，可以起到简化代码，提高开发效率，提升程序可读性的效果。

如何使用 Macro

宏的使用主要分为：创建、使用、销毁这三步，其中最重要的是创建部分，定义好后可以将宏像函数一样使用，最后的销毁是出于开发规范的需要。下面举一个简单例子：

1、创建

创建宏的标准语法：

CREATE TEMPORARY MACRO macro_name([col_name col_type, ...]
最低0.47元/天 解锁文章
vegetable chicken01
关注
专栏目录
Hive 宏命令
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
11-01 518
hive> create temporary macro chufa (x int) x/2 ; OK Time taken: 0.048 seconds hive> select chufa(6); OK 3.0 Time taken: 0.107 seconds, Fetched: 1 row(s) hive> Hive v2.0
数仓工具—Hive语法之宏(Macro)
最新发布
07-15 3万+
Hive中的宏是一组SQL语句，它们被存储并通过调用宏函数名称来执行。宏在当前会话期间存在。宏是临时的，如果你想拥有永久性的宏，最好创建用户定义的函数并在Hive中注册。在关系数据库管理系统（RDBMS）中，宏存储在数据字典中。Hive宏与关系型数据库中的宏略有不同。在我的其他文章中，我们讨论了如何使用用户定义的函数检查一个字符串是否为数字。然而，你也可以通过创建Hive宏来实现相同的功能。请注意，错误是因为参数’inputString’中的大写’S’以及表达式中的大写。，如何使用它们，以及一些宏的示例。
Hive之宏
guoliduo的博客
07-02 912
一、啥是宏 宏可以看做是一个简短的函数，或者是对一个表达式取别名，同时可以将这个表达式中的一些值做成变量调用时传入，比较适合于做分析时为一些临时需要用到很多次的表达式操作封装一下取个简短点的别名来调用。宏只在当前会话有效，当退出hive控制台再进入时上次创建的宏就丢失了，如果需要永久保留某个宏，可以将其加入到${HIVE_HOME}/.hiverc文件中。 二、创建宏 创建宏的语法： CREATE TEMPORARY MACRO macro_name([col_name col_type, ...
大数据开发之Hive篇9-Hive宏(Macro)
只是甲的博客
12-30 1862
备注: Hive 版本 2.1.1 文章目录一.Hive宏介绍二.Hive 宏案例2.1 数据准备2.2 case when实现2.3 Hive宏实现参考: 一.Hive宏介绍 在编写HQL的过程中，很多逻辑需要反复使用。在关系型函数中，可以通过自定义函数来实现，Hive中实现的方法有多种。 1） Hive 宏 2） Hive hpl/sql 3） Hive UDF 这里，我们介绍实现最简单的一种Hive 宏。 语法: -- 创建宏 CREATE TEMPORARY MACRO macro_name([co
Hive之——宏命令
冰河的专栏
03-15 1044
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88580205 宏命令提供了在HiveQL中调用其他函数和操作符来定义函数的功能。对于特定的情况，使用宏命令要比Java编写UDF或使用Hive的streaming功能更加方便，因为宏命令无需额外编写代码或脚本。 可以使用create temporary macro语法来定义一个...
HIVE中MACRO(宏)的使用
璠的博客
05-25 5432
在编写HQL的过程中，很多逻辑需要反复使用。这时我们可以使用宏对这段逻辑进行提炼，起到优化开发效率、提升程序可读性的效果（尤其是括号嵌套很多层、case-when嵌套很多层的时候）。举个例子： create temporary macro sayhello (x string) concat('hello,',x,'!'); select sayhello('程序员'); --输出：hello...
Hive整理大全
weixin_45148452的博客
07-12 1729
全局目录结构，滑下去后在侧边栏边1.Hive 简介1.1 简介1.2 优缺点1.2.1 优点1.2.2 缺点1.3 架构原理hive的执行流程图1.4 与 RDBMS 的比较2.Hive 基本操作2.1 Hive 常用命令2.2 本地文件导入 Hive 表中2.3 Hive 其他操作3.Hive 常见属性配置3.1 数据仓库位置hive 中 formatted 的用法:3.2 查询信息显示配置3.3 参数配置方式4.Hive 数据类型4.1 基本数据类型4.2 集合数据类型案例实操：4.3 数据类型转化5.
【Hive】（十四）Hive 项目实战之电子商务消费行为分析_hive项目实战
2401_84159813的博客
05-06 760
Hive 学习过程中的一个练习项目，如果不妥的地方或者更好的建议，欢迎指出！😁数据结构数据清洗基于Hive的数据分析这里通过UDF自定义 MD5加密函数 ，对地址、邮箱等信息进行加密。-- md5 udf自定义加密函数Clean and Mask customer_details 创建明细表。
Hive中常被忽视的利器——宏
天道酬勤
10-15 376
我们都知道Hive中有UDF（user defined function）——即用户自定义函数，但是由于UDF是Java编写的，代码中堆变量的内存回收完全不受开发者控制，而UDF程序又是嵌套在Hive SQL中执行的，对规模较大的表，就往往会出现由于UDF内存回收不及时造成的out-of-memory错误。因此，在生产环境中，UDF是严格受限的。那么，怎么办呢？ 幸好，大多数情况下我们并不是真正需要（不得不用）UDF，大多数时候我们仅仅只是需要把一些虽然繁琐但其实结构简单的逻辑封装起来以便重复使用。举个栗
Hive：Macro(宏)的使用和测试
编程学习者的博客
06-22 822
1.声明 当前内容主要用于本人学习和复习，当前的内容为学习和使用宏 当前内容借鉴：Wikes中的Hive 2.查看和分析临时宏 查看官方文档：创建临时宏 临时：就是指在当前会话中生效的意思，即本次会话或者shell断开后，该临时的自动销毁 语法：CREATE TEMPORARY MACRO macro_name([col_name col_type, ...]) expression; 创建一个临时宏，将两个数相加：two_num_add(x int ,y int); create TEMPORARY M
【Hive】MACRO (宏) 的使用
云祁QI
03-11 1505
项目中用到了宏，实现的功能是计算一个值在其最小值和最大值之间的百分比，如下： -- macro to calculate the percentage a value between its min & max values CREATE TEMPORARY MACRO percentageValue(value double, min_value double, max_value do...
hive利器 宏macro的详解
shuimofengyang的博客
07-24 2146
声明：本帖子不是我自己原创，都是为了学习和了解宏，照搬和参考下面大佬的， 做个一个综合的。向几位大佬致敬。建议看原贴，链接在最下面。 1.macro初步了解 宏可以看做是一个简短的函数，或者是对一个表达式取别名，同时可以将这个表达式中的一些值做成变量调用时传入，比较适合于做分析时为一些临时需要用到很多次的表达式操作封装一下取个简短点的别名来调用。宏只在当前会话有效，当退出hive控制台再进入时上次...
Hive笔记之宏（macro）
weixin_30402085的博客
01-07 252
一、啥是宏 宏可以看做是一个简短的函数，或者是对一个表达式取别名，同时可以将这个表达式中的一些值做成变量调用时传入，比较适合于做分析时为一些临时需要用到很多次的表达式操作封装一下取个简短点的别名来调用。宏只在当前会话有效，当退出hive控制台再进入时上次创建的宏就丢失了，如果需要永久保留某个宏，可以将其加入到${HIVE_HOME}/.hiverc文件中。 二、创建宏 创建宏的语...
hive知识分享
qq_33912088的博客
06-03 1388
表 table内外部表及其创建分区表及其创建重命名表 重命名字段导入数据 导入本地数据 导入集群数据 向表中插入数据（到对应分区） Flask简介 Flask是一个使用 Python 编写的轻量级 web 应用框架 简单易用，上手快 安装使用 pip install flask 一个具体应用 结构 cloud/ static/ templates/ a.py a.py解析 #!/usr
Hive(一)基础知识
weixin_30325071的博客
04-08 211
一、Hive的基本概念 （安装的是Apache hive 1.2.1） 1、hive简介 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能， hive 底层是将 SQL 语句转换为 MapReduce 任务运行（类似于插件Pig\impala\Spark Sql） ...
[Hive] 05 - HQL：数据定义（DDL）下-【视图、索引、宏、函数等】
神是念着倒
06-17 680
全文关于Hive QL的数据定义语言（DDL）第二部分：创建、删除、修改、描述-【视图、索引、宏、函数等】
airflow 2.2.1：HivePartitionSensor、自定义宏变量
qq1277419839的博客
12-31 2100
airflow 2.21：HivePartitionSensor HivePartitionSensor功能 用于检查hive表的分区是否存在，在某些场景下可以使用该sensor来替代ExternalTaskSensor，且使用起来更加便捷。 场景描述 在数仓中这么两种表： 表1 ：daily_table，该表是按天分区的表，一天跑一次。 表2 ：hour_table，该表是按照小时分区，每个小时跑一次。 其中daily_table 依赖于 hour_table的执行，对于这种执行周期不同的任务，如果通过a
Hive常用语句
雷雨中的双桅船
12-25 1344
创建表 hive> CREATE TABLE pokes (foo INT, bar STRING);  创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);  显示所有表 hive> SHOW TABLES; 按正条件（正则表达式）显示
Hive UDF开发与Hive框架解析
"UDF开发-hive框架简介" 在大数据处理领域，Hive是一个基于Hadoop的数据仓库工具，它允许用户使用SQL（称为HQL）来查询、管理和处理存储在Hadoop分布式文件系统（HDFS）上的大规模数据集。Hive通过将SQL查询转换为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值