hive udf debug

最新推荐文章于 2023-03-17 11:43:56 发布
最新推荐文章于 2023-03-17 11:43:56 发布
阅读量2.7k 收藏
点赞数
文章标签： hive udf debug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q79969786/article/details/24986133
版权

1)      以debug模式启动Cli，${HIVE_HOME}/bin/hive --debug。进程会监听在8000端口等待调试连接。如果想更改监听端口，可以修改配置文件:${HIVE_HOME}bin/ext/debug.sh 。

2)      在Eclipse中, 选择Debug configurations->Remote Java Application，填好Host和Port，并选中包含UDF的工程,确定。 如下图

如果Hadoop是0.23以上版本，debug模式启动Cli会报错：ERROR: Cannot load this JVM TI agent twice,check your java command line for duplicate jdwp options.。打开${Hadoop_HOME}/bin/hadoop，注释掉所有的HADOOP_OPTS="$HADOOP_OPTS$HADOOP_CLIENT_OPTS"即可。
q79969786
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive UDF初探
听雨草堂
05-05 54
1. 引言 在前一篇中，解决了Hive表中复杂数据结构平铺化以导入Kylin的问题，但是平铺之后计算广告日志的曝光PV是翻倍的，因为一个用户对应于多个标签。所以，为了计算曝光PV，我们得另外创建视图。 分析需求： 每个DSP上的曝光PV，标签覆盖的曝光PV； 累计曝光PV，累计标签覆盖曝光PV 相当于cube(dsp, tag) + measure(pv)，HiveQL如下： select ...
Hive本地调试
Lucene/Solr解密
02-11 1871
一准备 二事情远没这么简单呢 1 winutilsexe找不到 2 系统找不到指定的文件 3 系统找不到指定的路径 三这样就可以了吗 1 UnsatisfiedLinkError 2 如果还不行 四结尾 虽然已经很习惯看静态代码了，但是这种方式始终很不方便，需要来来回回翻找代码不说，还得自己分析每个变量的值、和路径。因此决定花点时间让代码在IDE上跑起来，然而这个过程在...
Debug分析Hive UDF的执行流程以及简单示例
JiajunBernoulli的博客
08-15 962
文章目录前言原理示例 前言 通常编写HQL能方便的使用Hive的UDF，但是对其原理还不太熟悉，于是debug分析了一下它是如何执行的。 原理 以select concat('hello', 'world');为例，先根据functionName获得FunctionInfo 根据参数类型初始化UDF，在调用evaluate进行祭计算 示例 @Test public void testGenericUdf() { String[] dataTypes = new String[]{"St
java使用udf_java – 在Hive中使用UDF调试信息
weixin_42245736的博客
02-27 418
我建了罐子(我没有java经验,所以我只希望我做了这个部分),将它们添加到我的查询中并得到：hive> ADD jar hive-udf-geo-ip-jtg.jar;Added hive-udf-geo-ip-jtg.jar to class pathAdded resource: hive-udf-geo-ip-jtg.jarhive> ADD jar geo-ip-java.ja...
Hive UDF开发
12-27
详细介绍如何开发hive自定义永久函数，配套有测试数据
Hive UDF调试打印的方法
与数据和AI有关的东西
08-26 6978
日志的打印 导入用到的包 import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory;   通过工厂模式获取一个Log对象： static final Log LOG = LogFactory.getLog(NewGetKeyWithMaxValue.class.getName(
如何进行Hive debug
热门推荐
wisgood的专栏
07-22 1万+
如何进行Hive debug
Hive UDF
Bee_Darker的博客
06-04 291
任务目标 1.了解Hive UDF函数 2.了解创建Hive UDF的流程
HIVE中使用python实现UDF
zqqnancy的专栏
02-10 6069
参考：http://www.4wei.cn/archives/1002357Python UDF HIVE，FACEBOOK的一个开源项目，利用类SQL的语句（HiveQL）来加快一般的MapReduce的开发过程。UDF，user defined function, 因为HIVE毕竟不是一般的关系型数据库，支持的HQL有限，如果要实现复杂的功能，就要通过自己定义函数来帮助实现。HIVE应该利用P...
在Windows_eclipse上单步调试Hive教程
09-16
### 在Windows_Eclipse上单步调试Hive教程 #### 前言 本文旨在为希望在Windows环境下使用Eclipse进行Hive单步调试的学习者提供一份详细的指导文档。假设读者已具备基本的Hadoop和Hive环境搭建能力，以及Eclipse的...
如何利用Debugview方式来调试MySQL UDF
03-03
MySQL的UDF实质就是一个不需要设置入口点的动态连接库。本文介绍了一个非常简单的易用的调试方法。这一方法直接利用Windows API，语言无关、开发工具无关、项目类型无关，典型的三无调试方法。
利用VC++ UDF Studio编译调试UDF简介.pdf
02-25
利用VC++ UDF Studio编译调试UDF简介
mysql udf函数调试_MySQL UDF调试方式debugview
weixin_42405368的博客
02-07 178
MySQL的UDF实质就是一个不需要设置入口点的动态连接库(*Nix称之为共享库)。对于DLL的调试可谓个人有个法。现在我介绍一下一个非常简单的易用的调试方法。这一方法直接利用Windows API，语言无关、开发工具无关、项目类型无关，典型的三无调试方法。并且，MySQL的UDF实质就是一个不需要设置入口点的动态连接库(*Nix称之为共享库)。对于DLL的调试可谓个人有个法。现在我介绍一下一个非...
hive udaf总结
weixin_39198774的博客
12-17 908
0xx01 概述 hive的udaf全称 User-Defined Aggregation Functions。hive有两种udaf，simple and generic.区别如下 Simple UDAFs, as the name implies, are rather simple to write, but incur performance penalties because of th...
Hive UDAF开发
a805814077的博客
03-04 814
Hive中自定义聚合函数udaf的使用
Hive 本地调试方法
weixin_30340745的博客
10-31 473
关键词：hive, debug 本地调试（local debug） Hive 可分为 exec (hive-exec，主要对应源码里的ql目录) 和 metastore 两部分，其中exec对外有两种接口方式 CLIDriver 和 HiveServer2的ThriftCLIService。前者对应的就是直接执行hive命令的command line，后者对应就是thrift直连或jdb...
Hive的UDF实现两种简单方法+通过编译源码添加UDF
liuhm的博客
03-17 1028
（1）pom.xml 增加 hive-exec（2）编写Java ，继承 UDF，实现方法 evaluate（3）打包上传服务器lib下，并赋权（4）进入hive 通过add jar 导入jar包（5）创建临时函数指定jar包（6）运行自定义UDF。
Hive学习之路(五):使用自义定函数UDF完成日志数据统计
萧邦主的城邦
04-16 1368
内容简介一、Hive自定义函数UDF简介二、数据准备1.分析日志数据2.需求3.创建原始数据表并导入数据三、使用自义定函数完成日志数据统计1.创建Java工程，添加Maven支持2.创建类LogParser并编写代码3.将代码打包并提交4.执行程序查看结果四、总结 一、Hive自定义函数UDF简介 上一节中，介绍了许多Hive的内置函数，并使用Hive的内置函数实现了WordCount，Hive的...
Hive UDF函数使用步骤
u011250186的博客
02-16 2687
1.上传jar包到HDFS Hadoop fs -put local_path/test_udf.jar hdfs_path/test_udf.jar 2.创建Hive 永久函数 CREATEFUNCTIONdb_name.test_function_nameAS'com.baidu.traffic.udf.TestFunction'USING JAR'hdfs://hdfs_path/test_udf.jar'; 注：建议创建函数时指定库名，使用...
hive udf 转spark udf
最新发布
05-25
将 Hive UDF 转换为 Spark UDF 的步骤如下： 1. 导入 Spark SQL 函数库 ```python from pyspark.sql.functions import udf from pyspark.sql.types import StringType, IntegerType ``` 2. 定义 Spark UDF 例如，如果要将 Hive UDF `my_func` 转换为 Spark UDF，可以按照以下方式定义： ```python def my_func(param1, param2): # Hive UDF 逻辑 return result spark_my_func = udf(my_func, StringType()) # 定义 Spark UDF ``` 其中，`my_func` 是 Hive UDF 的函数名，`param1` 和 `param2` 是输入参数，`result` 是返回值。 3. 注册 Spark UDF ```python spark.udf.register("spark_my_func", spark_my_func) ``` 其中，`spark_my_func` 是注册的 Spark UDF 的名称，`spark` 是 SparkSession 对象。 4. 使用 Spark UDF 可以通过 Spark SQL 或 DataFrame API 来使用注册的 Spark UDF。例如，使用 DataFrame API： ```python from pyspark.sql.functions import col df = spark.read.table("my_table") df = df.withColumn("new_col", spark_my_func(col("col1"), col("col2"))) ``` 其中，`my_table` 是 Hive 表的名称，`col1` 和 `col2` 是表中的列名，`new_col` 是新生成的列名。 注意，Spark UDF 的输入和输出类型需要与 Hive UDF 的类型对应。在上面的示例中，假设 Hive UDF 的返回类型是字符串类型，因此 Spark UDF 的返回类型也是 `StringType()`。如果 Hive UDF 的返回类型是整数类型，Spark UDF 的返回类型应该是 `IntegerType()`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值