Hive中配置与编写自定义UDF函数

环境介绍：CentOS7+hive-1.1.0-cdh5.7.0+IntelliJ IDEA+Maven3.3.9
1、创建工程
   打开IntelliJ IDEA
     File-->New-->Project...-->Maven选择Create from archetye-->org.apache.maven.archety:maven-archetype-quitkstart

2、配置
  2.1、增加内容如下：
   在工程中找到pom.xml文件中hadoop-common 、hive-exec 、hive-jdbc

点击(此处)折叠或打开

1. <properties>
   
2.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
   
3. 
   
4. 
   
5.     <!-- hadoop、hive版本信息 -->
   
6.     <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
   
7.     <hive.version>1.1.0-cdh5.7.0</hive.version>
   
8.   </properties>
   
9. 
   
10. 
    
11.     <!-- hadoop依赖 -->
    
12.     <dependency>
    
13.       <groupId>org.apache.hadoop</groupId>
    
14.       <artifactId>hadoop-common</artifactId>
    
15.       <version>${hadoop.version}</version>
    
16.     </dependency>
    
17. 
    
18. 
    
19.     <!-- hive依赖 -->
    
20.     <dependency>
    
21.       <groupId>org.apache.hive</groupId>
    
22.       <artifactId>hive-exec</artifactId>
    
23.       <version>${hive.version}</version>
    
24.     </dependency>
    
25.   </dependencies>
    
26.   
    
27.   <!-- cdn资源仓库 -->
    
28.   <repositories>
    
29.     <repository>
    
30.       <id>cloudera</id>
    
31.       <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    
32.     </repository>
    
33.   </repositories>

  2.2、在<repository></repository>中修改内容如下：

点击(此处)折叠或打开

1. <dependency>
   
2.       <groupId>junit</groupId>
   
3.       <artifactId>junit</artifactId>
   
4.       <version>4.10</version>
   
5.       <scope>test</scope>
   
6.     </dependency>

3、创建类，并编写一个UDF HelloUDF.java，代码如下：

点击(此处)折叠或打开

1. package org.apache.hadoop.hive.ql.udf;
   
2. 
   
3. 
   
4. import org.apache.hadoop.hive.ql.exec.UDF;
   
5. import org.apache.hadoop.io.Text;
   
6. 
   
7. 
   
8. public class HelloUDF extends UDF {
   
9.     public Text evaluate(Text input) {
   
10.         return new Text("Hello：" + input);
    
11.     }
    
12. 
    
13. 
    
14.     public static void main(String args[]){
    
15.         HelloUDF helloUDF = new HelloUDF();
    
16.         Text rs = helloUDF.evaluate(new Text("zhangsan"));
    
17.         System.out.println(rs.toString());
    
18.     }
    
19. }

4、测试UDF类，在上又键选择Run 'HelloUDF.main()'

5、打包：
   在IDEA菜单中选择view-->Tool Windows-->Maven Projects，然后在Maven Projects窗口中选择【工程名】-->Lifecycle-->package，在package中右键选择Run Maven Build开始打包
   执行成功后在日志中找：
     [INFO] Building jar: D:\software\ruozedata_workspace\basic02-hive\target\hive-1.0.jar

若泽大数据交流群：671914634

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31511218/viewspace-2150099/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31511218/viewspace-2150099/