presto java_Presto自定义函数@SqlNullable血泪史

最新推荐文章于 2024-06-26 09:44:49 发布
最新推荐文章于 2024-06-26 09:44:49 发布
阅读量285 收藏
点赞数
文章标签： presto java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_28285943/article/details/114357328
版权

看到标题我们会想到是由于@SqlNullable注解引发的问题，我们先看一段代码，正是这段有意思的代码，让我纠结了2个多小时，引发了Presto的问题。@Description("user_id")

@ScalarFunction("user_id")

@SqlType(StandardTypes.VARCHAR)

public static Slice userId(@SqlType(StandardTypes.VARCHAR) Slice value) {

String _value = value.toStringUtf8();

if (StringUtils.containsWhitespace(_value)) {

_value = StringUtils.replace(_value, " ", "+");

}

return Slices.utf8Slice(makeErrorMsgBase64(_value));

}

这段代码很简单，就是我们将传递进来的base64的字符串解码成实际的字符串，单单从代码上看是不会有什么问题的。当我们实际运行这个函数的时候问题就出现了，以下是一个使用示例：select user_id(str) from temp.users limit 100;

看执行的SQL似乎也没有什么异常，但就是这么简简单单的一个函数引发了Presto的问题，那就是java.lang.NullPointerException: undefined错误，这个错误的具体内容如下java.lang.NullPointerException: undefined

at io.prestosql.type.VarcharOperators.equal(VarcharOperators.java:53)

at io.prestosql.$gen.CursorProcessor_20200927_063218_2398.filter(Unknown Source)

at io.prestosql.$gen.CursorProcessor_20200927_063218_2398.process(Unknown Source)

at io.prestosql.operator.ScanFilterAndProjectOperator$RecordCursorToPages.process(ScanFilterAndProjectOperator.java:323)

at io.prestosql.operator.WorkProcessorUtils$ProcessWorkProcessor.process(WorkProcessorUtils.java:372)

at io.prestosql.operator.WorkProcessorUtils.getNextState(WorkProcessorUtils.java:221)

at io.prestosql.operator.WorkProcessorUtils$YieldingProcess.process(WorkProcessorUtils.java:181)

at io.prestosql.operator.WorkProcessorUtils$ProcessWorkProcessor.process(WorkProcessorUtils.java:372)

at io.prestosql.operator.WorkProcessorUtils.getNextState(WorkProcessorUtils.java:221)

at io.prestosql.operator.WorkProcessorUtils.lambda$processStateMonitor$2(WorkProcessorUtils.java:200)

at io.prestosql.operator.WorkProcessorUtils$ProcessWorkProcessor.process(WorkProcessorUtils.java:372)

at io.prestosql.operator.WorkProcessorUtils.lambda$flatten$6(WorkProcessorUtils.java:277)

at io.prestosql.operator.WorkProcessorUtils$3.process(WorkProcessorUtils.java:319)

at io.prestosql.operator.WorkProcessorUtils$ProcessWorkProcessor.process(WorkProcessorUtils.java:372)

at io.prestosql.operator.WorkProcessorUtils$3.process(WorkProcessorUtils.java:306)

at io.prestosql.operator.WorkProcessorUtils$ProcessWorkProcessor.process(WorkProcessorUtils.java:372)

at io.prestosql.operator.WorkProcessorUtils.getNextState(WorkProcessorUtils.java:221)

at io.prestosql.operator.WorkProcessorUtils.lambda$processStateMonitor$2(WorkProcessorUtils.java:200)

at io.prestosql.operator.WorkProcessorUtils$ProcessWorkProcessor.process(WorkProcessorUtils.java:372)

at io.prestosql.operator.WorkProcessorUtils.getNextState(WorkProcessorUtils.java:221)

at io.prestosql.operator.WorkProcessorUtils.lambda$finishWhen$3(WorkProcessorUtils.java:215)

at io.prestosql.operator.WorkProcessorUtils$ProcessWorkProcessor.process(WorkProcessorUtils.java:372)

at io.prestosql.operator.WorkProcessorSourceOperatorAdapter.getOutput(WorkProcessorSourceOperatorAdapter.java:149)

at io.prestosql.operator.Driver.processInternal(Driver.java:379)

at io.prestosql.operator.Driver.lambda$processFor$8(Driver.java:283)

at io.prestosql.operator.Driver.tryWithLock(Driver.java:675)

at io.prestosql.operator.Driver.processFor(Driver.java:276)

at io.prestosql.execution.SqlTaskExecution$DriverSplitRunner.processFor(SqlTaskExecution.java:1076)

at io.prestosql.execution.executor.PrioritizedSplitRunner.process(PrioritizedSplitRunner.java:shichengoooo@163.com)

at io.prestosql.execution.executor.TaskExecutor$TaskRunner.run(TaskExecutor.java:484)

at io.prestosql.$gen.Presto_341____20200925_110330_2.run(Unknown Source)

at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128)

at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)

at java.base/java.lang.Thread.run(Thread.java:834)

通过上面错误我们推算出应该是由于数据导致空指针异常，那么问题出在哪里呢？问题就出在查询str这个字段中，这个字段我们经过实际的查询发现是有''的数据，在做转换的时候出现了空指针问题，于是我们修改UDF的源码为@Description("user_id")

@ScalarFunction("user_id")

@SqlType(StandardTypes.VARCHAR)

@SqlNullable

public static Slice userId(@SqlNullable @SqlType(StandardTypes.VARCHAR) Slice value) {

String _value = value.toStringUtf8();

if (StringUtils.containsWhitespace(_value)) {

_value = StringUtils.replace(_value, " ", "+");

}

return Slices.utf8Slice(makeErrorMsgBase64(_value));

}

我们在方法和参数上添加了@SqlNullable注解用于标记此函数可以接收空的数据，这似乎看着也没有问题，我们将该函数重新发布，再次执行SQL发现还存在相同的问题，于是又将代码修改为以下内容@Description("user_id")

@ScalarFunction("user_id")

@SqlType(StandardTypes.VARCHAR)

public static Slice userId(@SqlNullable @SqlType(StandardTypes.VARCHAR) Slice value) {

String _value = value.toStringUtf8();

if (StringUtils.containsWhitespace(_value)) {

_value = StringUtils.replace(_value, " ", "+");

}

return Slices.utf8Slice(makeErrorMsgBase64(_value));

}

删除了方法上的@SqlNullable注解，再次运行发现不会再出现这个错误，但是Presto服务中不断的报出空指针错误，只是不在反馈给查询客户端，原本以为此问题已经解决，然而更有意思的事情发生了，我们使用了343版本测试成功后，线上版本是341，升级线上后发现此问题再次复现，如果再次在方法上加上@SqlNullable注解在341版本上又会修复这个问题，目前已将这个问题反馈给官方，推荐大家使用343版本！

沉默十年
关注
大数据Presto（四）：Presto自定义函数和JDBC连接
Lansonli（蓝深李）的博客
11-13 1465
Presto 自定义函数我们可以登录Presto客户端，使用命令：show functions 来查询对应的内置函数。我们也可以自己定义函数，自定义的函数包含UDF和UDAF函数。1、​​​​​​​​​​​​​​UDF函数自定义UDF函数及使用可以按照下面步骤来实现。1.1、创建Maven项目，加入如下依赖
Presto代码实例：自定义函数，扩展查询能力
最新发布
程序员光剑
08-08 351
Presto代码实例：自定义函数，扩展查询能力 1. 背景介绍 1.1 Presto简介 Presto是由Facebook开源的一个分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编
Java程序访问Presto
zhangvalue的博客
01-06 1077
./presto --server localhost:8080 --catalog mysql --schema tp_music select * from mysql.tp_music.singer limit 3; pom.xml中引入presto-jdbc <dependency> <groupId>com.facebook.presto</groupId> <artifactId>presto-jdbc</artifactId.
Presto自定义函数@SqlNullable血泪史
热门推荐
qianmoQ - 关注云计算,关注大数据
09-28 1万+
看到标题我们会想到是由于@SqlNullable注解引发的问题，我们先看一段代码，正是这段有意思的代码，让我纠结了2个多小时，引发了Presto的问题。 @Description("user_id") @ScalarFunction("user_id") @SqlType(StandardTypes.VARCHAR) public static Slice userId(@SqlType(StandardTypes.VARCHAR) Slice value) { String _value = va
探索数据的无限可能：Presto UDF插件深度解析与应用
gitblog_00008的博客
06-26 588
探索数据的无限可能：Presto UDF插件深度解析与应用 项目地址:https://gitcode.com/qubole/presto-udfs 在大数据处理的世界里，灵活性和扩展性是两大关键要素。今天，我们将深入探讨一个为Presto量身定制的强大工具——Presto User-Defined Functions (UDFs) 插件，它让数据查询和分析变得更加灵活高效。 1. 项目介绍 Pre...
presto java_presto java
weixin_39743603的博客
02-13 145
import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;public class Presto {public static void main(String[] args) {try {long start,end;start = Sy...
presto java
qq_38461773的博客
07-23 121
import java.util.*; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class Presto {   public static void main(String[] args) {     try {       long start,end;       start = System.cur
java连接查询where_java 连接presto实现SQL查询
weixin_39641386的博客
02-17 251
presto的安装参考http://blog.csdn.net/ouyang111222/article/details/50507471一 引入jarcom.facebook.prestopresto-jdbc0.100二 Java测试text file to a database. I have all of the books parsed into book objects and am...
presto java_Presto Jdbc
weixin_39845613的博客
02-13 418
Presto Jdbc标签(空格分隔)： Presto一， 建立连接传统的JDBC方式类似，建立PrestoConnection”连接“，并且通过unwrap方法将connection转换为PrestoConnection。实际上是赋值一些基本信息，并且建立新的OkHttpClient。String url = "jdbc:presto://ip:port/hive/“; //默认连接hiv...
hive 和 presto sql的对比
04-21
Hive和Presto都提供了字符串拼接函数，但在Hive中可以接受任意类型的字符，而在Presto中必须是字符串类型。在处理空值时，两者都使用`COALESCE()`函数。 7. **中位数计算**： Hive提供`percentile_approx()`计算...
json函数 presto_Presto Functions
weixin_39644146的博客
12-24 432
Presto的是什么？优势是什么呢？从官方文档中我们了解到Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。千万不要以为Presto可以解析SQL，那么Presto就是一个标准的数据库。Presto被设计为数据仓库和数据分析产品：数据分析、大规模数据聚集和生成报表。这些工作经常通常被认为是线上分析处理操作。所以说，当公司业务有跨库分析时(一般情况是，业务数据库...
PrestoDEMO（JAVA-JDBC）
05-19
springboot建立的一个最轻DEMO，主函数里面加了个地址映射，用来接收URL传过来的SQL后，调用JDBC访问PRESTO并将数据表信息JSON格式化后输出到页面。
presto-udf:PrestoSQL https的UDF（用户定义函数）
05-26
安装 mvn clean assembly:assembly 将presto-udf-*-jar-with-dependencies.jar复制到所有presto节点中的${PRESTO_HOME}/plugin/custom-functions/中。 （如果不存在，则创建目录） 重新启动presto集群 职能 标量函数 功能 退货类型 参数类型 描述 用法 第一天 日期 日期 一个月的第一天 首日（当前日期） 最后一天 日期 日期 一个月的最后一天 last_day（current_date） to_datetime 时间戳记 日期，varchar 结合两个参数 to_datetime（current_date，'23：59：59'） last_second 时间戳记 日期 日期的最后一秒 last_second（current_date） 昨天 时间戳记 昨天的最后一
presto java客户端,presto java
weixin_28935113的博客
03-12 443
import java.util.*;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;public class Presto {public static void main(String[] args) {try {long s...
【Presto开发】01 自定义函数
baidu_34170531的博客
07-10 1073
目录 1. 类型 1.1. 原生容器类型（Native container type） 2. 函数开发 2.1. 注解 2.1.1. 注解使用 2.2. 自定义标量函数 2.3. 聚合函数 2.3.1. 概述 2.3.2. 2.4. 窗口函数 2.4.1. 概述 2.5. 函数注册 2.5.1. 内置函数注册 2.5.2. 插件函数注册 1. 类型 1.1. 原生容器类型（Native container type） presto架构的类型 框架会自动将 SQ
在Java中集成Presto查询
DevNinja的博客
09-26 276
首先，你需要将Presto JDBC驱动器添加到你的Java项目中。将下载的JAR文件添加到你的项目的类路径中。在你的Java代码中，你需要建立与Presto的连接。你可以使用JDBC连接字符串来指定Presto服务器的主机名、端口号和默认的数据库。如果你想在Java应用程序中使用Presto进行数据查询，你可以通过以下步骤来集成Presto查询。在编写与Presto集成的Java代码时，确保适当处理异常并及时释放数据库连接和资源。一旦你建立了与Presto的连接，你就可以执行SQL查询了。
Java集成presto查询
luoyuan的博客
06-24 3834
一、Java集成presto 1.pom文件引入相关jar <dependency> <groupId>com.facebook.presto</groupId> <artifactId>presto-jdbc</artifactId> <version>0.234.1</version> </dependency>
presto java 分页_数据仓库(十四)--java--presto---hive的分页查询
weixin_34026053的博客
02-25 880
我们在SpringMVC框架中使用那个presto查询hive的数据做展示时，发现在table里分页是个不可避免的话题。建议去掉count但是尴尬的是 对于海量数据 count的效率是很低的，因为在不加条件的情况下基本上要扫描全表。count操作性能比较收集oracle里Count一亿条数据 大于10分钟mysql,3000万行记录，count(*)需要200shive+presto count ...
JAVA连接presto
zhi_yin的博客
03-01 911
JAVA连接presto
PRESTO regexp_substr
06-25
Presto是一个开源的列式SQL查询引擎，主要用于处理大规模数据集。`regexp_substr`是Presto中用于正则表达式分割字符串的一个函数。这个函数的作用类似于其他SQL系统中的`SUBSTRING`或`REGEXP_EXTRACT`，但它根据正则表达式的匹配来提取子串。 `regexp_substr`的基本语法如下： ```sql regexp_substr(input_string, pattern, start_index, [occurrence]) ``` - `input_string`: 需要被分割的原始字符串。 - `pattern`: 正则表达式模式，定义了要匹配和提取的模式。 - `start_index`: 提取的起始位置（从0开始计数）。如果为负值，表示从字符串末尾开始计算。 - `occurrence` (可选): 如果指定，表示第几个匹配的子串。默认值为1，表示第一个匹配；0表示所有匹配。 举个例子： ```sql SELECT regexp_substr('Hello, World!', 'W', 1, 0); -- 提取第一个"World"，结果为'World' SELECT regexp_substr('Hello, World!', 'W', 1, 1); -- 提取第二个"W"，在逗号后面，结果为空字符串 '' ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值