hive的udf通过Waterdrop把hive的数据抽到ClickHouse

最新推荐文章于 2024-04-23 22:13:49 发布
最新推荐文章于 2024-04-23 22:13:49 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： clickhouse HQL UDF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wppwpp1/article/details/107092465
版权
clickhouse 同时被 3 个专栏收录
12 篇文章 3 订阅
订阅专栏
UDF
5 篇文章 0 订阅
订阅专栏
HQL
4 篇文章 0 订阅
订阅专栏

1,因业务需要把hive的数据通过WaterDrop抽取到clickhouse，但是每次都要写配置文件，故写一个配置文件自动生成配置信息.

1，版本信息：

 waterdrop版本 ：1.5.0

 spark版本：3.0.0
 
 hive版本： 3.0.0

3. pom.xml文件如下：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>hdp-udf</groupId>
	<artifactId>hdp-udf</artifactId>
	<version>4.1</version>
	<packaging>jar</packaging>

	<name>hdp-udf</name>
	<url>http://maven.apache.org</url>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<hive.version>3.1.0</hive.version>
		<hadoop.version>3.1.0</hadoop.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>${hadoop.version}</version>
			<exclusions>
				<exclusion>
					<groupId>log4j</groupId>
					<artifactId>log4j</artifactId>
				</exclusion>
				<exclusion>
					<groupId>org.slf4j</groupId>
					<artifactId>slf4j-log4j12</artifactId>
				</exclusion>
			</exclusions>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>${hadoop.version}</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-exec</artifactId>
			<version>${hive.version}</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-jdbc</artifactId>
			<version>2.1.0.2.6.4.76-1</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-service</artifactId>
			<version>2.1.0</version>
			<scope>provided</scope>
		</dependency>

		<!-- 自研组件依赖 -->
		<dependency>
			<groupId>com.crgecent</groupId>
			<artifactId>crgt-util</artifactId>
			<version>1.1.0</version>
		</dependency>

		<dependency>
			<groupId>redis.clients</groupId>
			<artifactId>jedis</artifactId>
			<version>2.9.0</version>
		</dependency>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.12</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.kafka</groupId>
			<artifactId>kafka-clients</artifactId>
			<version>1.1.1</version>
		</dependency>
		<dependency>
			<groupId>org.apache.kafka</groupId>
			<artifactId>kafka_2.11</artifactId>
			<version>1.1.1</version>
		</dependency>
		<dependency>
			<groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
			<version>5.1.25</version>
		</dependency>
		<dependency>
			<groupId>ru.yandex.clickhouse</groupId>
			<artifactId>clickhouse-jdbc</artifactId>
			<version>0.2</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
		<dependency>
			<groupId>com.alibaba</groupId>
			<artifactId>fastjson</artifactId>
			<version>1.2.62</version>
		</dependency>
	</dependencies>

	<build>
		<finalName>hiveudf_${version}</finalName>
		<resources>
			<resource>
				<directory>src/main/java</directory>
			</resource>
		</resources>
		<plugins>
			<plugin>
				<groupId>net.alchim31.maven</groupId>
				<artifactId>scala-maven-plugin</artifactId>
				<version>3.3.1</version>
				<executions>
					<execution>
						<id>scala-compile-first</id>
						<phase>process-resources</phase>
						<goals>
							<goal>add-source</goal>
							<goal>compile</goal>
						</goals>
					</execution>

					<execution>
						<phase>compile</phase>
						<goals>
							<goal>compile</goal>
							<goal>testCompile</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
			<plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<version>3.0.0</version>
				<configuration>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
<!--					<archive>-->
<!--						<manifest>-->
<!--							<mainClass>com.crgt.BlockInstance2ck</mainClass>-->
<!--						</manifest>-->
<!--					</archive>-->
				</configuration>
				<executions>
					<execution>
						<id>make-assembly</id>
						<phase>package</phase>
						<goals>
							<goal>single</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<configuration>
					<source>8</source>
					<target>8</target>
				</configuration>
			</plugin>
		</plugins>
	</build>


	<repositories>
		<repository>
			<id>ownaliyunmaven</id>
			<name>own aliyun maven repository</name>
			<url>http://10.3.1.29:8081/repository/aliyun/</url>
		</repository>
		<repository>
			<id>ownmaven</id>
			<name>own maven repository</name>
			<url>http://10.3.1.29:8081/repository/maven-central/</url>
		</repository>

		<repository>
			<id>Hortonworks Repository</id>
			<url>http://repo.hortonworks.com/content/repositories/releases/</url>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
		</repository>

		<repository>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>true</enabled>
			</snapshots>
			<id>hortonworks.other</id>
			<name>Hortonworks Other Dependencies</name>
			<url>http://repo.hortonworks.com/content/groups/public</url>
		</repository>

	</repositories>

</project>

2,因为waterdrop抽取hive的分区表有点问题，所以目前只支持非分区表的情况，如果有需要支持分区表，可以修改udf完成支持

package com.xxx;


import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.StringObjectInspector;
import org.apache.hadoop.io.Text;

import java.sql.*;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;


/**
 * https://blog.csdn.net/xiao_jun_0820/article/details/76638198
 * 根据hive的表在，自动生成一个ck的表，输入值要求是带ck的中间表
 * wpp 自己开发的
 * 部署在06上
 * /home/admin/waterdrop
 *
 */
public class TableCreateGenericUDF extends GenericUDF {

    private static String driverName = "org.apache.hive.jdbc.HiveDriver";
    StringObjectInspector keyElementOI;

    @Override
    public Object evaluate(DeferredObject[] arg0)   throws HiveException{

            String str = keyElementOI.getPrimitiveJavaObject(arg0[0].get());

            if(  str == null ||  str == "null" ){
                return new Text("获取参数错误,需要");
            }
            StringBuffer res = new StringBuffer( );
            System.out.println("输入值 : " +str);
            String newStr = str.replace("'", "").replace("\"", "");

            System.out.println("table: " +newStr);
            if(newStr.split("\\.").length == 1 ){
                return new Text("请输入数据库名");
            }

            String databaseName = newStr.split("\\.")[0];
            String tableName = newStr.split("\\.")[1];//要求带ck

            try{
               String createTableInfo = getCKCreateTableInfo(databaseName,tableName);
               res.append(createTableInfo);

               res.append("\n========================配置信息 "+ tableName+ ".conf ==================\n");
               String tableMetaInfo = TableParse.getTableMetaInfo(newStr);
               String ckConfInfo = getCKConfInfo(databaseName,tableName,tableMetaInfo);
               res.append(ckConfInfo);

            }catch (Exception e){
                e.printStackTrace();
                System.out.println("获取结果异常:" +e.getMessage());
            }

            return new Text(res.toString());
    }
    public static  String getCKConfInfo(String databaseName ,String tableName,String tableMetaInfo ) {

        String fullTableName = databaseName +"."+ tableName;

        String ckFullTableName = databaseName +"."+ tableName.replaceAll("_ck","");

        String res = "spark {\n" +
                "  spark.app.name = \"" + tableName+"_2_ck\"\n" +
                "  spark.executor.instances = 6\n" +
                "  spark.executor.cores = 2\n" +
                "  spark.executor.memory = \"2g\"\n" +
                "  spark.sql.catalogImplementation = \"hive\"\n" +
                "}\n" +
                "\n" +
                "input {\n" +
                "   hive {\n" +
                "        pre_sql = \"select * from "+ fullTableName +"\" \n" +
                "        table_name = \""+tableName+"\"\n" +
                "    }\n" +
                "}\n" +
                "\n" +
                "filter {\n" +
                "    remove {\n" +
                "     #   source_field = [\"bizdate\"]\n" +
                "    }\n" +
                "    \n" +
                tableMetaInfo +"\n"+
                "}\n" +
                "\n" +
                "output {\n" +
                "   clickhouse {\n" +
                "        host = \"10.2.12.56:8123\"\n" +
                "        database = \""+databaseName+"\"\n" +
                "        table = \""+ ckFullTableName+"_cls\"\n" +
                "        username = \"root\"\n" +
                "        password = \"root\"\n" +
                "    }\n" +
                "}\n";

        return res;
    }

    public static  String getCKCreateTableInfo(String databaseName ,String tableName) throws SQLException{
        String dbTableName = databaseName +"."+tableName;
        try {
            Class.forName(driverName);
        } catch (ClassNotFoundException e) {
            // TODO Auto-generated catch block
            System.out.println("=================================");
            e.printStackTrace();
            System.exit(1);
        }
        Connection con = DriverManager.getConnection(Utils.HIVE_JDBC_URL, "admin", "admin");

        Statement stmt = con.createStatement();

        String sql = "describe  " + dbTableName ;
        System.out.println("Running: " + sql);
        ResultSet res = stmt.executeQuery(sql);
        StringBuffer result = new StringBuffer();
        StringBuffer resultCls = new StringBuffer();

        String ckTable = tableName.replaceAll("_ck$","");
        String ckDbTableName = databaseName +"." +ckTable;

        result.append("==============请确定主键和date类型的列,并把Nullable去掉=============\n");
        result.append("CREATE TABLE " +ckDbTableName +" on cluster crm_4shards_1replicas (\n");
        resultCls.append("CREATE TABLE " +ckDbTableName +"_cls on cluster crm_4shards_1replicas (\n");

        while (res.next()) {
            String dataKey =  res.getString(1);
            String dataType =  res.getString(2);
            System.out.println(dataKey + "\t" + dataType);
            String ckDataType = Utils.getParseType(dataType.toLowerCase());

            if(dataKey.equals("ckbizdate")){
                result.append(" `" + dataKey    + "` Date,\n" );
                resultCls.append(" `" + dataKey + "` Date,\n" );
            }else {
                result.append(" `" + dataKey + "` Nullable(" + ckDataType + "),\n");
                resultCls.append(" `" + dataKey + "` Nullable(" + ckDataType + "),\n");
            }
        }

        result =new StringBuffer(  result.substring(0,result.length()-2));

        resultCls =new StringBuffer(  resultCls.substring(0,resultCls.length()-2));
        result.append("\n)ENGINE = MergeTree(ckbizdate, id, 8192);\n\n");
        resultCls.append("\n)ENGINE = Distributed(crm_4shards_1replicas,"+databaseName+" ," +ckTable+ ",rand());");

        result.append(resultCls);

        return  result.toString();
    }


    @Override
    public String getDisplayString(String[] arg0) {
        return "TableCreateGenericUDF(database.tablename)";
    }

    @Override
    public ObjectInspector initialize(ObjectInspector[] arg0) throws UDFArgumentException {

        if (arg0.length != 1) {
            throw new UDFArgumentException(" Expecting  one  arguments: database.tablename");
        }

        // 1. 检查是否接收到正确的参数类型
        ObjectInspector key = arg0[0];

        if (!(key instanceof StringObjectInspector) ) {
            throw new UDFArgumentException("one argument  must be a string");
        }

        this.keyElementOI = (StringObjectInspector) key;

//        return PrimitiveObjectInspectorFactory.writableIntObjectInspector;
        return PrimitiveObjectInspectorFactory.writableStringObjectInspector;
    }


}

2.1 utils.java

package com.crgt;

import java.util.regex.Pattern;

/**
 * @Author: wpp
 * @Date: 2019/10/21 19:41
 */
public class Utils {

    public static  String  HIVE_JDBC_URL= "jdbc:hive2://xx.xx.xx.xx:10000/default";

    public static String getParseType(String oriDataType){

        String dataType = null;

        switch (oriDataType.toLowerCase()){
            case "boolean":
                dataType="Int64";break;
            case "TINYINT":
                dataType="Int64";break;
            case "SMALLINT":
                dataType="Int64";break;
            case "int":
                dataType="Int64";break;
            case "bigint":
                dataType="Int64";break;
            case "float":
                dataType="Float64";break;
            case "double":
                dataType="Float64";break;
            case "decimal":
                dataType="Float64";break;
            case "string":
                dataType="String";break;
            case "datetime":
                dataType="String";break;
            case "timestamp":
                dataType="String";break;
            default:
                dataType="999999999";
        }

        return  dataType;
    }


    public static String getMysqlParseType(String oriDataType){

        String dataType = null;

        if(Pattern.matches(".*varchar.*",oriDataType)
            ||Pattern.matches(".*datetime.*",oriDataType)
            ||Pattern.matches(".*time.*",oriDataType)
            ||Pattern.matches(".*text.*",oriDataType)
        ){
            dataType="String";
        }else if(Pattern.matches(".*bigint.*.*unsigned.*",oriDataType)
                || Pattern.matches(".*tinyint.*.*unsigned.*",oriDataType)
                || Pattern.matches(".*int.*.*unsigned.*",oriDataType)

        ){
            dataType="UInt64";

        }else if(Pattern.matches(".*bigint.*",oriDataType)
                || Pattern.matches(".*tinyint.*",oriDataType)
                || Pattern.matches(".*int.*",oriDataType)
        ){
            dataType="Int64";
        }else if(Pattern.matches(".*float.*",oriDataType)
                || Pattern.matches(".*double.*",oriDataType)
                || Pattern.matches(".*decimal.*",oriDataType)
        ){
            dataType="Float64";
        }else {
            dataType="9999999999999";
        }

        return  dataType;
    }




}

3,创建永久udf函数

 

create function tableinfo as 'com.xxx.TableCreateGenericUDF'  using jar 'hdfs:///hiveudf/hiveudf_3.7-jar-with-dependencies.jar';

4，在hive命令行执行如下代码（只能输入非分区的表）：

select default.tableinfo('hive_table_name');

5,查询结果如下，主要是对hive的int型转换，（clickhouse的int64或者Float64）：

######
###### This config file is a demonstration of batch processing in waterdrop config
######

spark {

  spark.app.name = "dwd_ord_coupon_base_df_2_ck"
  spark.executor.instances = 6
  spark.executor.cores = 2
  spark.executor.memory = "2g"
  spark.sql.catalogImplementation = "hive"
}

input {


   hive {
        pre_sql = "select * from cdm_dwd.dwd_ord_coupon_base_df where bizdate='20191013' limit 10 "
        #result_table_name = "ads.ads_user_portrait_vertical_df"
        table_name = "dwd_ord_coupon_base_df"
    }



}

filter {
  # split data by specific delimiter

    remove {
        source_field = ["bizdate"]
    }


convert {
    source_field = "coupon_type"
    new_type = "long"
}
convert {
    source_field = "scene"
    new_type = "long"
}
convert {
    source_field = "status"
    new_type = "long"
}
convert {
    source_field = "threshold"
    new_type = "long"
}
convert {
    source_field = "discount"
    new_type = "long"
}
convert {
    source_field = "time_sharing"
    new_type = "long"
}
convert {
    source_field = "version"
    new_type = "long"
}

}

output {
  # choose stdout output plugin to output data to console

   stdout {
        host = "xx.xx.xx.xx:8123"
        database = "cdm_dwd"
        table = "cdm_dwd.dwd_ord_coupon_base_df2_cls"
       # fields = ["user_no","first_classification","second_classification","third_classification","fourth_classification","options","detail","create_time"]
        username = "root"
        password = "root"
    }



}

 

wppwpp1
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive连接工具waterdrop4.2免认证
02-14
hive连接工具waterdrop4.2免认证
ClickHouse UDF编写示例
hongguo880的博客
11-16 2277
Clickhouse 22版本的UDF编写示例
ClickHouse Java多参UDF
sleetdream的博客
10-30 1103
ClickHouse调用java语言编写的多参UDF例程
Clickhouse自定义UDF函数
等闲之辈莫等闲的博客
06-26 1379
加载function，查询是否成功，这里查询的xx要跟xml文件保持一致。需要安装python3环境。
ClickHouse自定义函数实例教程
neweastsun的专栏
04-19 3778
通过函数封装复杂代码，可以在多个应用场景中复用通过给定输入参数，可以简化测试修改函数定义自动反应至所有函数调用，避免重复维护UDF可以消除重复工作，虽然强大，也不要过度滥用。
starrocks3.0 编写自定义UDF java/scala版本 clickhouse中countResample
yy的博客
01-24 777
starrocks实现clickhouse中的CountResample函数
Hive的Udf函数进行数据脱敏
01-26
ADD JAR /path/to/your/hiveUDF.jar; CREATE TEMPORARY FUNCTION mask AS 'com.yourpackage.MaskingUDF'; ``` 4. **使用UDF**： 注册完成后，你可以在查询中直接使用`mask`函数。假设我们有一个包含手机号码的表`...
HiveUDF:Apache Hive UDF（用户定义函数）
07-01
Hive UDF UDF 聚合 UDF Finds MIN, MAX and SUM from array of Struct Objects based on a field. 排序 UDF Returns sorted array of Struct objects for an array of Struct Objects based on a field. 日期 ...
hive UDF需要jar包
12-09
在Hive中，UDF（User Defined Functions）是用户自定义函数，允许开发人员扩展Hive的内置功能，以满足特定的数据处理需求。Hive UDF的实现通常涉及到编写Java代码，并将其打包成JAR（Java Archive）文件，然后在Hive...
Hive UDF开发
12-27
完成UDF的编写之后，需要将其打包成JAR文件，并上传到Hive的`auxlib`目录下。如果该目录不存在，则需要手动创建。例如，假设你已经将编译好的JAR文件放置在了`/path/to/your/jar/file.jar`的位置，那么可以按照以下...
数据仓库实战：Hive、HBase、Kylin、ClickHouse
最新发布
05-07
数据仓库实战：Hive、HBase、Kylin、ClickHouse 包含 01~大数据体系 02~数据集成 03~数仓建模 04~数据可视化 等等 在学习与实践软件分布式架构过程中的，笔记与代码的仓库；主要包含分布式计算、分布式系统、数据...
hive自定义UDF编写函数.docx
01-26
Hive 自定义 UDF 编写函数 本文主要讲解了 Hive 中自定义 UDF 函数的编写方法，包括创建 UDF 类、实现自定义函数逻辑、编译和打包 UDF jar 包、上传至 Hive 服务器并注册自定义函数。 一、创建 UDF 类 为了实现...
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select ...
大数据 java hive udf函数的示例代码（手机号码脱敏）
08-19
在本文中，我们将通过实例代码，详细介绍如何开发和使用 Java Hive UDF 函数。 UDF 函数的实现 首先，我们需要在 Maven 项目中添加依赖项，包括 Hadoop 和 Hive。 Maven 项目的 POM 文件如下所示： ```xml ...
Clickhouse 用户自定义外部函数
Moonxiyue的博客
06-09 3370
·　　Clickhouse 从 21.11 版本开始，除了提供类似SqlServer、MySQL CREATE FUNCTION 的自定义函数之外，还有一个用户自定义函数（UDF），与其说是“用户自定义函数”，为了避免混淆，称之为”用户自定义外部函数“更为准确。官方对此功能的解释： ClickHouse can call any external executable program or script to process data. 译文：ClickHouse可以调用任何外部可执行程序或脚本来处理数据
ClickHouse用UDF解析XML字符串和XML文件
weixin_44830864的博客
04-23 482
函数名wsdXpathArrB64('参数1',参数2)wsdXpathB64('参数1‘,'参数2')
ClickHouse接入指南和排坑日记
aizhupo1314的博客
12-18 3374
1. clickhouse简介和特点 ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS，简称CK, 与Hadoop, Spark相比，ClickHouse很轻量级,由俄罗斯第一大搜索引擎Yandex于2016年6月发布, 开发语言为C++。 ClickHouse的特点: 开源的列存储数据库管理系统，支持线性扩展，简单方便，高可靠性 容错跑分快：比Vertica快5倍，比Hive快279倍，比MySQL快800倍,其可处理的数据级别已达到10亿级别； 功能多：支持数据统计
ClickHouse UDF 运行速度慢问题
sleetdream的博客
11-16 1386
ClickhHouse UDF 运行速度慢问题
怎么从hive把数据推到clickhouse
04-02
从Hive将数据推送到ClickHouse有几种方法，下面介绍其中的两种方法： 方法一：使用Sqoop将数据从Hive导出到ClickHouse 1. 安装Sqoop和ClickHouse JDBC驱动程序。 2. 在Hive中创建表并加载数据。 3. 在ClickHouse中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值