[Hive基础]-- 编写hive udf和使用hive udf：hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数

最新推荐文章于 2024-01-23 09:50:48 发布
最新推荐文章于 2024-01-23 09:50:48 发布
阅读量1w 收藏 8
点赞数 2
分类专栏： Hive（理论+实战） Oozie 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/high2011/article/details/52425430
版权
本文详细介绍了如何在Hive中编写和使用自定义UDF（用户定义函数），包括在Hue界面、Oozie调度和Hive命令行中的操作步骤。涉及了jar包的上传、临时函数创建以及在不同场景下的应用。
摘要由CSDN通过智能技术生成

开发环境：jdk1.7+idea 16+hive-1.1.0

使用udf的生产环境：cdh5.8.0+hive-1.1.0

 

1、导入hive的所有相关jar包

 

或者使用maven引入CDH相关包：

 



    4.0.0

    com.enn
    hive-udf
    1.0-SNAPSHOT
    
        UTF-8
        UTF-8
        1.7
        1.1.0-cdh5.8.0
        
        1.7
        1.7
        UTF-8

    
    
    
        
            cloudera
            https://repository.cloudera.com/artifactory/cloudera-repos/
了解本专栏 订阅专栏 解锁全文 超级会员免费看
往事随风ing
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
Hue配置并使用Hive的UDF函数
杨鑫newlife的专栏
06-27 2502
1.首先点击右上角的设置，然后会出现sessions栏，然后点击Add a property 2.选择Files 3.再点击Add a property并选择Functions。 4.函数的填充 具体填充的参数： Files: hdfs:///udf/DataMask-1.0-SNAPSHOT-jar-with-dependencies.jar ...
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1440
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
Hive执行UDF UDTF HQL脚本解析
LZX的博客
10-16 351
insert overwrite table dwd_base_event_log partition(dt='2020-03-10') select base_analizer(line,'mid') as mid_id, base_analizer(line,'uid') as user_id, base_analizer(line,'vc') as version_code, base_analizer(line,'vn') as version_name, b
Hue中使用Hive的UDF、UDTF函数
SpringBoots的博客
01-29 514
切换到hive脚本页面 点击SQL编辑区域右上角“查询设置”按钮 选取上传到HDFS上的UDF、UDTF函数jar包 tip: 注意权限问题 填充功能选项 方框1：自定义UDF函数的名称 方框2：自定义UDF函数的入口类 关闭编辑窗口 Tip: 该自定义UDF函数的配置的时效性是session会话级别的。当关闭该窗口新建hive脚本编辑页面时，需要重新配置。 ...
Idea使用hive 创建UDF 异常
weixin_43468369的博客
07-22 273
直接上图 问题分析： hive3.0 相关jar没下载下来。 解决思路： 1、先查看maven库 是否已经存在hive 3.0的依赖 如果没有下载下来， 需要将以下参数配置到idea -Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true -Dmaven.wagon.http.ssl.ignore.validity.dates=true 2、如果提示pentaho-aggdesigner-algorithm.j
hue添加udf函数方法
macfei的博客
04-02 902
1.hue界面有一个设置的图标, 2.点开,会出现三个加号 3.files :上传jar包在hdfs上面的路径 functions:d第一个空格是自定义函数的名称,第二个空格是jar的全路径 4.使用自定义的函数
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9693
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
2020.9.27(hive参数设置、运行方式、动态分区、分桶)
超可爱慕之
09-27 994
除了第一节课讲概念理论之外，后面的操作都是比较细的点，因为hive的技术点没办法，到公司使用的时候也是一些非常琐碎的点，各个点之间没有太多的关联性。这10分钟可能讲这个知识点，下10分钟可能另外一个技术点了，一点关联都没有，是没办法的。hive里更多的是基本操作的问题。要有复习总结的过程。 第一个知识点：hive参数操作和运行方式 hive的参数操作： hive应该如何设置对应的参数？之前搭建集群的时候，在hive-site.xml里面进行过基本的参数修改，但在企业里面可能不全是往hive-site.xml
尚gg大数据项目实战电商数仓系统开发教程.txt
07-24
134_CDH数仓_Hive、Oozie、Hue安装.avi# ]& Y, M2 |) A( o# Y( b& w 135_CDH数仓_用户行为数仓ODS层导数据.avi 136_CDH数仓_用户行为数仓完结.avi. F4 z* v& a; q" }% V* \ 137_CDH数仓_业务数据生成.avi7 W7 \$ ~$ ...
impala的使用以及安装
Carina_____的博客
01-19 1067
之前上课内容的回顾： zookeeper hadoop （hdfs+mapreduce） hive：数据仓库的工具 主要用来做数据分析的 数据仓库主要是面向数据分析的 OLAP 数据库主要是面向事务处理的 OLTP flume：日志数据采集的一个工具 exec Source tail -F spoolingDir source 监控某个文件架下面的文件 avro Source 网络传输，从上级avro sink里面接受数据 TailDir Source 可以按照正则匹配，收集某一类的文件 chan
Hive自定义UDF函数及使用
小健的博客
01-30 3850
UDF全称：User-Defined Functions，即用户自定义函数，在Hive SQL编译成MapReduce任务时，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。
编写hive udf和使用hive udf：hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数
chenjieit619的博客
11-15 2589
开发环境：jdk1.7+idea 16+Hive-1.1.0 使用udf的生产环境：cdh5.8.0+hive-1.1.0 1、导入hive的所有相关jar包 或者使用maven引入CDH相关包： 1 2 3 4 5 6 7 8 9 10 11 12
hive:创建自定义函数 UDF
皮皮blog
04-10 972
编写Apache Hive用户自定义函数（UDF）有两个不同的接口，一个非常简单，另一个相对复杂点：简单API： org.apache.hadoop.hive.ql.exec.UDF复杂API： org.apache.hadoop.hive.ql.udf.generic.GenericUDF如果你的函数读和返回都是基础数据类型（Hadoop&Hive 基本writable类型，如Text,IntWritable,LongWriable,DoubleWritable等等），那么UDF可以胜任。
linux编译不了udf,Hive将UDF编译到源码中（idea）
weixin_36323859的博客
05-12 175
有时候需要改写源码，比如将常用的某个UDF放在源码中，启动即可使用。在Linux上直接改写源码是很容易出错的，因为vim没有检测提示，直到打包时过了很久才报错，并找到日志才发现是哪里写错了，而且提示的也不清楚。所以推荐使用idea来完成改源码的操作，好处不言而喻。1.下载解压hive源码，用idea打开为Maven项目(jdk1.8)，这时所有的依赖就会自动下载2.将写好的UDF的java代码放在...
Hive中用户自定义函数UDF、UDAF、UDTF的定义以及UDF具体实现
最新发布
hfzchj的博客
01-23 1320
在Hive学习中，我们刚接触到用户自定义函数可能会有点不理解，下面我就根据我所知的来给跟我遇到过同样问题的人一点帮助。目录前言简单定义UDF具体实现预应用运用UDF，源自于英文user-defined function。我们根据函数输入输出的行数可以将其分为三类：(不仅适用于用户自定义函数)UDF普通函数，特点是一进一出。例如取整函数round,接收一行数据，输出一行数据。UDAF聚合函数,A即Aggregation聚合的意思,特点是多进一出。
Hive UDF的学习与使用
菜鸟也学大数据的博客
10-06 630
本篇仅展示UDF完整的操作流程，不包含UDF的具体开发内容 UDF简述 Hive中本身自带很多函数供开发人员使用，但现实情况中，有些特殊情景需要特定的操作，而Hive函数本身是支持扩展的，所以UDF就是自定义函数，在HIve中使用的一种方式 流程步骤 继承UDF类或GenericUDF类 重写evaluate()方法并实现函数逻辑 编译打包为jar文件 复制到正确的HDFS路径 使用jar创建临时/永久函数 调用函数 一.新建maven项目 第一步：新建项目选择maven 第二步：设置.
hive使用UDF函数
Mrerlou的博客
01-26 564
UDF几个相关概念： UDF: one-to-one row mapping : upper substr【进来一行出去一行】 UDAF: Aggregation Many-to-one row mapping 比如sum/min【进来多行出去一行】 UDTF: Table-generating one-to-many 比如：lateral vie...
Hue中添加hive自定义函数
蘑菇丁的专栏
08-25 736
hue目前因为开启sentry 后不能add jar语句，目前只能用永久函数解决该问题。 具体方法如下： 首先把文件上传hdfs hdfs dfs -put 授权 beeline> !connect jdbc:hive2://10.5.xx.xx:2500 GRANT ALL ON URI 'hdfs://xxx:8020/tmp.db/function/Dmo.jar' TO ROLE read; 创建函数 create function tmp.Dmo as 'com.Dmo' usi...
Hive查询之函数(一)
denglh525693的博客
11-16 365
本篇介绍了Hive函数的分类以及Hive函数之复杂类型函数,字符串函数,日期时间函数,数学函数,条件函数,类型转换函数,数学脱敏函数以及加密函数
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事随风ing

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值