Hive添加自定义UDF函数

最新推荐文章于 2024-12-09 09:18:04 发布
最新推荐文章于 2024-12-09 09:18:04 发布
阅读量1.1w 收藏 17
点赞数 10
分类专栏： Hive 文章标签： hive 函数 UDF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liam08/article/details/51311772
版权
本文介绍了如何在Hive中编写和部署自定义UDF函数，以实现将IPv4地址转换为整数的功能。首先，通过继承`UDF`类并实现`evaluate`方法来创建UDF类。然后，将编译好的jar包上传到HDFS，并使用Hive SQL创建永久和临时函数。永久函数需指定库名，而临时函数只在当前会话有效。
摘要由CSDN通过智能技术生成

1 编写UDF类

以简单的处理单个字段的UDF函数为例,开发自定义UDF函数需要继承’org.apache.hadoop.hive.ql.exec.UDF’类.
可以通过Maven添加,pom文件中加入(版本号跟Hive版本一致即可):

<dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-exec</artifactId>
  <version>0.13.1</version>
</dependency>

最简单的实现只需继承UDF类,并实现evaluate函数.如下UDF函数用来将IP(v4)地址转换为整数.


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    


                



	

		

			

				
					
Hive自定义udf函数

				
			

			

				

					
				

				

					04-16
					
					359
					
				

			

		

		

			
				
5.创建函数create temporary function get_pro as 'jd.Get_Property'//jd.jd.Get_Property为类路径;4.hive中执行命令add jar /home/jrjt/dwetl/PUB/UDF/udf/GetProperty.jar;2.重写evaluate方法。3.把项目打成jar包。

			
		

	



                

            
              



	

		

			

				
					
Hive通过自定义UDF函数实现分词

				
			

			

				

					手提青灯觅佳人的博客
				

				

					12-10
					
					705
					
				

			

		

		

			
				
一、所需依赖


        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>1.1.0</version>
        </dependency>
        <dependency&gt

			
		

	



              


  
              

                


	

		

			

				
					
hive的UDF 函数

				
			

			

				

					caodaoxi的专栏
				

				

					09-20
					
					610
					
				

			

		

		

			
				
hive的UDF 函数



Hive内部自定义函数UDF

HIVE UDF整理（一）
关系运算
等值比较: =
语法:A = B 
操作类型: 所有基本类型
描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE
举例：
hive> select 1 from dual where 1=1;
1
不等值比较: 
语法: A  B 
操作类型: 所有...

			
		

	





	

		

			

				
					
Hive UDF函数

				
			

			

				

					super
				

				

					09-22
					
					1657
					
				

			

		

		

			
				
hive的0.7版本没有row_number函数，在http://www.cnblogs.com/ggjucheng/archive/2013/01/30/2868993.html 上找了一段RowNumber.javapackage com.blue.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
public class RowNumbe

			
		

	



		

			
		



	

		

			

				
					
【HIVESql 语法详解】—— 包含DDL、DML、DQL语言（适合收藏）

					
最新发布

				
			

			

				

					摇光是颗星
				

				

					12-09
					
					1281
					
				

			

		

		

			
				
DDL是什么？DDL是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等操作语言。对象结构：数据库(database)、表(table)、视图(view)、索引(index)等DDL核心语法由 CREATE、ALTER、DROP 三个组成，DDL并不涉及表内部数据的操作UDF函数：普通函数，一进一出。

			
		

	





	

		

			

				
					
hive UDF函数

				
			

			

				

					scott的专栏
				

				

					06-01
					
					3918
					
				

			

		

		

			
				
1.一直在公司琢磨hive的UDF和UDAF函数，几番测试还是不通。
业务场景：物流企业有路由和线路，每条线路有班次，报表需求要求传入路由参数后，返回在最后一站的达到时刻？




此业务场景sql通过临时表觉得不是高手搞不定，想到hive的UDF函数。
问题：1.理由有几条线路组成？  未知数，离不开循环和递归了
            2.每条线路有多班次，选择哪个班次？ 在循

			
		

	





	

		

			

				
					
HIVE自定义UDF函数

				
			

			

				

					05-11
				

			

		

		

			
				
而自定义用户定义函数（UDF）是 Hive 中的一个重要功能，允许用户根据自己的需求编写自定义函数，以便在 Hive 查询中使用。 如何在 Hive 中创建自定义 UDF 函数：   步骤一：编写 Java 程序  首先，您需要编写一个 ...

			
		

	





	

		

			

				
					
hive自定义UDF编写函数.docx

				
			

			

				

					01-26
				

			

		

		

			
				
本文主要讲解了 Hive 中自定义 UDF 函数的编写方法，包括创建 UDF 类、实现自定义函数逻辑、编译和打包 UDF jar 包、上传至 Hive 服务器并注册自定义函数。  一、创建 UDF 类  为了实现自定义 UDF 函数，需要创建一...

			
		

	





	

		

			

				
					
Hive 自定义UDF函数

				
			

			

				

					hhhhhhfq的博客
				

				

					06-30
					
					1314
					
				

			

		

		

			
				
Hive 自定义UDF函数

			
		

	





	

		

			

				
					
【Hive】函数（UDF篇）

				
			

			

				

					listeningdu的博客
				

				

					11-22
					
					6289
					
				

			

		

		

			
				
Hive/UDF

			
		

	





	

		

			

				
					
开发hive UDF函数

					
热门推荐

				
			

			

				

					竹叶青 的专栏
				

				

					11-17
					
					1万+
					
				

			

		

		

			
				
1）首先创建一个java 项目，命名为HelloUDF，使用默认选项；
2）在src目录上右键，选择创建package，命名为com.test.hive.udf；
3）在package上右键，选择new class，如下图：
      
    然后在点击Browse，如下图：
    

      如果你还没有导入过hive的jar包，则需要自行导入：
    右键点击jav

			
		

	





	

		

			

				
					
hive udf 函数

				
			

			

				

					konstantin的博客
				

				

					03-23
					
					313
					
				

			

		

		

			
				
使用hive udf函数，需要导入hive序列化类型的类，udf类等，然后创建类继承UDF，其中实现evaluate方法，返回值必须是hive可序列化的类型，从里面书写计算逻辑；然后将该类打成jar包，在hive控制台输入命令添加jar包，并且把它加入到class path当中，（add jar [绝对路径]）  然后create temporary function add as '该类的绝对路...

			
		

	





	

		

			

				
					
Hive  UDF简单函数

				
			

			

				

					wuhahabanana的博客
				

				

					06-16
					
					1071
					
				

			

		

		

			
				
概念
在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数)。UDF分为两大类：UDAF（用户自定义聚合函数）和UDTF（用户自定义表生成函数)。
　UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成MapReduce程序后，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF。
Hive函数分类
从输入输出角度分类：

标准函数：一行数据中的一列或多

			
		

	





	

		

			

				
					
Hive函数——UDF

				
			

			

				

					Fenggms的博客
				

				

					09-28
					
					244
					
				

			

		

		

			
				
Hive函数内置函数自定义函数根据用户自定义函数类别分为以下三种：官方文档地址编程步骤：注意事项通过java进行UDF开发实例1、导包，引入依赖2、开发java类继承UDF，并重载evaluate 方法3、打包，上传到hive的lib目录下4、在hive客户端添加jar包5、设置函数与我们的自定义函数关联6、使用自定义函数
内置函数
查看系统自带的函数
 show functions;

显示自带...

			
		

	





	

		

			

				
					
hive使用UDF函数

				
			

			

				

					Mrerlou的博客
				

				

					01-26
					
					601
					
				

			

		

		

			
				
UDF几个相关概念：
UDF: one-to-one row mapping : upper substr【进来一行出去一行】
UDAF: Aggregation Many-to-one row mapping 比如sum/min【进来多行出去一行】
UDTF: Table-generating one-to-many  比如：lateral vie...

			
		

	





	

		

			

				
					
hive的udf函数使用

				
			

			

				

					sheshouzuomeiyou的博客
				

				

					06-14
					
					725
					
				

			

		

		

			
				
（注：hive的相关学习视频慕课网https://www.imooc.com/learn/387 和https://www.imooc.com/video/8030，hadoop的相关学习视频https://www.imooc.com/learn/391和 https://www.imooc.com/learn/890
1.编写类继承UDF类（需要导入hive的相关jar包）
2.重写evalua...

			
		

	





	

		

			

				
					
自定义udf函数模拟hive cast函数

				
			

			

				

					05-24
				

			

		

		

			
				
在自定义UDF函数中，我们可以使用Java中的类型转换函数来模拟hive中的cast函数。  例如，我们可以定义一个将字符串转换为整数的自定义UDF函数：  ```java import org.apache.hadoop.hive.ql.exec.UDF; import org....

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值