Hive UDF调试打印的方法

最新推荐文章于 2024-06-27 21:38:24 发布
最新推荐文章于 2024-06-27 21:38:24 发布
阅读量6.9k 收藏 4
点赞数
分类专栏： 大数据技术 文章标签： hive udf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/conggova/article/details/77606238
版权
本文介绍了在Hive中调试自定义UDF（User Defined Function）的打印日志方法，包括如何导入相关包，通过LogFactory获取Log对象进行日志输出。日志会出现在Job的日志文件中，可以通过SQL的tracking URL定位到具体任务的logs，并在syslog中查看完整日志。在使用中需要注意，当测试数据较大或日志过多时，可能会超出本地机器的存储限制。
摘要由CSDN通过智能技术生成

日志的打印

导入用到的包

import org.apache.commons.logging.Log;

import org.apache.commons.logging.LogFactory;

 

通过工厂模式获取一个Log对象：

static final Log LOG = LogFactory.getLog(NewGetKeyWithMaxValue.class.getName());

将NewGetKeyWithMaxValue替换成自己的类名。

 

使用LOG来打印日志：

LOG.info("hello") ;

 

 

日志的定位

日志会输出到Job的日志文件里面，可以在界面上查看。

首先，找到SQL的tracking URL，进入这个链接

 

点击Map或者Reduce查看此SQL执行过程中所执行的map task或reduce task

最低0.47元/天 解锁文章
conggova
关注
专栏目录
hive UDF开发注意事项
竹叶青 的专栏
11-14 8183
在开发的hive UDF中，有时候需要使用到第三方jar包，一般的做法是把第三方jar包和udf一起打包，结果在测试udf时，hive报错：java.lang.ClassNotFoundException      解决办法：              1）在运行hive hql时，手动将udf所需要的jar包 通过add语句 添加（测试通过）；               2）将udf所需
基于自定义日志打印的UDAF调试
weixin_33850890的博客
01-09 431
看到最近有一些用户，代码在本地IDE环境里调试成功了后，到线上调试出现结果不符合预期的情况。因为IDE里无法模拟多个worker进行分布式调试UDAF的场景，所以有一些BUG可能需要到线上用一些简单的测试数据进行调试。这里用最简单的手工打印日志的方法，针对代码调试中最麻烦的UDAF的例子做一次调试。通过问题的定位和解决，希望能给大家在面对UDF的线上调试...
Fluent UDF（八）DEFINE_ADJUST
最新发布
weixin_48358398的博客
06-27 1053
`DEFINE_ADJUST` 是一个通用宏，用于调整或修改未作为参数传递的 Ansys Fluent 变量。例如，可以使用 DEFINE_ADJUST 来修改流动变量（例如，速度、压力）和计算积分。您还可以使用它在整个计算域内对标量进行积分，并根据结果调整边界条件。使用 DEFINE_ADJUST 定义的函数在每次迭代时执行，并在每次迭代开始时，在求解传输方程之前被调用。本文介绍ADJUST宏的使用方法并给出了相关示例。
Hive UDF开发
12-27
详细介绍如何开发hive自定义永久函数，配套有测试数据
hive udf debug
q79969786的专栏
05-04 2779
1)      以debug模式启动Cli，${HIVE_HOME}/bin/hive --debug。进程会监听在8000端口等待调试连接。如果想更改监听端口，可以修改配置文件:${HIVE_HOME}bin/ext/debug.sh 。 2)      在Eclipse中, 选择Debug configurations->Remote Java Application，填好Host和Po
java使用udf_java – 在Hive中使用UDF调试信息
weixin_42245736的博客
02-27 418
我建了罐子(我没有java经验,所以我只希望我做了这个部分),将它们添加到我的查询中并得到：hive> ADD jar hive-udf-geo-ip-jtg.jar;Added hive-udf-geo-ip-jtg.jar to class pathAdded resource: hive-udf-geo-ip-jtg.jarhive> ADD jar geo-ip-java.ja...
hive中打印日志的几种方式实现
weixin_34290631的博客
08-18 1096
在debug hive的问题时，我们经常需要在源码里面增加必要的日志信息，来跟踪变量的变化或者是方法执行的情况，性能等。。hive里面有下面几个日志的实现方式。1种是常用的通过org.apache.commons.logging.Log和org.apache.commons.logging.LogFactory类实现的。比如要打印类的info信息时，只需要下面这样就可以。st...
Hive UDF函数使用步骤
u011250186的博客
02-16 2694
1.上传jar包到HDFS Hadoop fs -put local_path/test_udf.jar hdfs_path/test_udf.jar 2.创建Hive 永久函数 CREATEFUNCTIONdb_name.test_function_nameAS'com.baidu.traffic.udf.TestFunction'USING JAR'hdfs://hdfs_path/test_udf.jar'; 注：建议创建函数时指定库名，使用...
Debug分析Hive UDF的执行流程以及简单示例
JiajunBernoulli的博客
08-15 973
文章目录前言原理示例 前言 通常编写HQL能方便的使用Hive的UDF，但是对其原理还不太熟悉，于是debug分析了一下它是如何执行的。 原理 以select concat('hello', 'world');为例，先根据functionName获得FunctionInfo 根据参数类型初始化UDF，在调用evaluate进行祭计算 示例 @Test public void testGenericUdf() { String[] dataTypes = new String[]{"St
Hive本地调试
Lucene/Solr解密
02-11 1884
一准备 二事情远没这么简单呢 1 winutilsexe找不到 2 系统找不到指定的文件 3 系统找不到指定的路径 三这样就可以了吗 1 UnsatisfiedLinkError 2 如果还不行 四结尾 虽然已经很习惯看静态代码了，但是这种方式始终很不方便，需要来来回回翻找代码不说，还得自己分析每个变量的值、和路径。因此决定花点时间让代码在IDE上跑起来，然而这个过程在...
Hive学习之路(五):使用自义定函数UDF完成日志数据统计
萧邦主的城邦
04-16 1380
内容简介一、Hive自定义函数UDF简介二、数据准备1.分析日志数据2.需求3.创建原始数据表并导入数据三、使用自义定函数完成日志数据统计1.创建Java工程，添加Maven支持2.创建类LogParser并编写代码3.将代码打包并提交4.执行程序查看结果四、总结 一、Hive自定义函数UDF简介 上一节中，介绍了许多Hive的内置函数，并使用Hive的内置函数实现了WordCount，Hive的...
HIVE UDF(user-defined function)
qq_37240582的博客
11-12 291
HIVE UDF(user-defined function)两种方式 第一种 继承UDF(org.apache.hadoop.hive.ql.exec.UDF),重写evalute方法，可以重载(ps:重载与返回值类型无关，不明白，自行百度)，evalute方法接收来自hive的一行记录(可以包含多个参数)，进行处理，并返回结果(可以返回void)。 第二种 继承抽象类Generic(org.a...
hive 取消打印日志信息_舍弃Hive、拥抱SparkSQL，有赞的大数据实践
weixin_39711441的博客
10-22 228
本文由 「AI前线」原创（ID：ai-front），原文链接：舍弃Hive、拥抱SparkSQL，有赞的大数据实践作者 | 邹晨俊来源 | 授权转载自微信公众号有赞Coder（ID：youzan_coder）编辑 | NatalieAI 前线导读：有赞数据平台从 2017 年上半年开始，逐步使用 SparkSQL 替代 Hive 执行离线任务，目前 SparkSQL 每天的运行作业数量 5000 ...
hive 取消打印日志信息_Hive及其相关大数据组件
weixin_39772388的博客
11-22 911
HDFS架构Hadoop 分布式文件系统(HDFS)是 Hive 存储数据的地方，简单了解HDFS的基本机制和读写工作机制，对于排查HiveSQL 程序是否由于数据存储引发的性能问题有较大的帮助。4.3.1 常见HDFS优化常见的关于HDFS的优化角度有：● Hive 作业生成的小文件，过多的小文件会加重NameNode 的负担，导致集群整体性能下降。● 设置合理的HDFS文件块的大小，...
Hive之用户自定义函数UDF获取系统当前时间与打印自己的名字：
Deng872347348的博客
12-27 338
Hive之用户自定义函数UDF获取系统当前时间与打印自己的名字： 获取系统当前时间： package hive; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoop.hive.ql.exec.UDF; public class myprint extends UDF { //实现一个构造方法，打印自己的名字
hive udf 使用本地文件资源
yangpu002的博客
11-30 503
环境： hadoop：2.6.0 hive：1.1.0 spark：1.6.0需求：自定义一个udf函数，对存放在hive表里面的文章进行切词，同时切词需要使用自定义词库（属于外部资源）问题就是在sql里面使用自定义的udf函数
Hive数据仓库--HiveUDF异常解析与其中的坑
热门推荐
王洋的专栏
11-11 1万+
使用Hive进行分析的过程中遇到了这个异常的信息，一开始看到比较惊讶，因为感觉代码并没有什么不太合理的地方，不过还是抛出了一堆的异常信息，我把日志信息读了一下，发现导致最终异常的是FastJson在封装的时候找不到无参构造函数，虽然最终原因不是Hive引起的，但是上面的一堆异常也的确是唬人的。异常信息Error: java.lang.RuntimeException: org.apache.had
Hive中常用的一些配置操作（日志，显示等操作）
JacksonKing的专栏
05-20 1460
1.修改默认的数据仓库位置，在hive-site.xml文件中配置如下参数： <property> <name>hive.metastore.warehouse.dir</name> <value>自己指定仓库位置（eg:/user/hive/warehouse）</value> </property> 添加好参数以后，需要对指定的目录附上用户组的权限，执行以下命令： $ $HADOOP_HOME/...
HiveUDF详解：函数操作大全
"HiveQL UDF函数大合集，涵盖了关系运算、逻辑运算、数学运算、复合类型构建及访问、数值计算、类型转换和日期函数等多个方面的内容，是大数据开发中处理Hive数据的重要参考资料。" 在HiveQL中，用户定义的函数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值