Calcite中文字符串toSqlString()变为乱码(Unicode)，重写SqlDialect类中的quoteStringLiteral()方法解决

最新推荐文章于 2024-04-25 15:07:21 发布
最新推荐文章于 2024-04-25 15:07:21 发布
阅读量1.2k 收藏 2
点赞数 2
分类专栏： bug 文章标签： 大数据 sql 乱码 java hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39133753/article/details/115470036
版权

使用Calcite，中文字符串toSqlString()时会变成乱码（unicode），可以新建一个方言类，重写quoteStringLiteral()方法解决。

没有重写quoteStringLiteral()时：
在这里插入图片描述
在这里插入图片描述
重写quoteStringLiteral()后：
在这里插入图片描述
在这里插入图片描述
原因在SqlDialect类中的quoteStringLiteral()方法：

最低0.47元/天 解锁文章
黄飞666
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Calcite中的流式SQL
12-15
Calcite中的流式SQL总体设计思路 　总体语法应该兼容SQL，这个是和目前流处理SQL的发展趋势是一致的。 　如果部分功能标准SQL中没有包含，则尽量采用 业界标杆（Oracle） 。比如模式匹配的功能，目前流处理中还...
cacti 安装后 读mysql中文乱码_Mysql 下中文乱码的问题解决方法总结
weixin_35038173的博客
01-19 185
解决Mysql下中文乱码全是问号的问题又是头疼的中文乱码问题，刚开始我一直用的本地数据库测，这没问题啊，一点问题都没，但我忘记了安卓和web用的是服务器上我搭的数据库，测了一下，果然乱码了。试了网上不少方法，虽然不知道具体哪个方法给弄好了，就都说一下吧第一种方法刚开始先检查MySQL数据库，发现正如网上所说，部分编码是latin1， 是如下的样子：果断改啊set character_set_cli...
Calcite中文乱码问题
qq_45859375的博客
05-16 396
2、根据以上方法反解回去，上面的方法很好理解，首先在解析的字符串前后用u&''包住，对于ascii码值小于32或者大于等于128的字符，将其解析为4位十六进制数，并在前面加上反斜杠。1、采用关键字替换的方式，一般sql中出现乱码都是查询条件中包含中文，此时可以对查询条件进行校验，如果查询条件对应的是String类型，就将其替换成其它字符串（类似预编译中的问号），\\\\是用于匹配反斜杠的。在解析时需要注意的是不能将单引号忽略，因为出现乱码的基本都是字符串，在解析时，我们也需要使用''将字符串包住。
大数据计算引擎中的Calcite
最新发布
xiaoliuxxs
04-25 1118
Calcite是一个动态数据库管理框架，具备数据库管理系统的功能Calcite具备SQL解析、校验、优化、生成、连接查询等功能Calcite能够为不同平台和数据源提供统一的查询引擎。
Apache Calcite教程-基础知识-SQL优化基础
quxiuchengdev的专栏
04-11 2923
基础概念逻辑优化关系代数等价变换运算符角度优化考虑选择基本选择性质分解有复杂条件的选择选择和叉积选择和集合运算选择和集合运算图解选择和投影投影基本投影性质投影和集合云算选择和集合运算图解运算规则度优化考虑连接,笛卡尔积交换律连接,笛卡尔积结合律投影的串接定律选择的串接定律投影与选择交换律选择与笛卡尔积的分配律选择与并的分配律选择与差的分配律投影与笛卡儿积的分配律投影与并的分配律子查询优化视图重写...
Apache Calcite的属性设置，例如解决编码问题
junwen的博客
01-06 1766
在项目的资源文件新建一个saffron.properties文件 内容为 calcite.default.charset = utf8 然后在org.apache.calcite.config.CalciteSystemProperty#loadProperties函数打断点查看是否加载该配置文件即可 ...
在使用Coral-trino翻译Hivesql2PrestoSql遇见的问题和解决方法
u011602667的专栏
06-11 1454
hivesql 翻译为prestosql, 在接入开源组件coral-trino时，遇到的问题，以及解决方法
apache calcite源码阅读（五）org.apache.calcite.sql.parser包下的SqlParser类 解析
goTsHgo的博客
06-08 710
`SqlParser` 构造函数：接受 `SqlAbstractParserImpl` 对象和 `SqlParser.Config` 对象作为参数，并根据配置初始化 `SqlParser` 的实例。`SqlParser` 类提供了一组方法来解析和验证 SQL 语句，并返回相应的 `SqlNode` 对象，以便进一步处理和分析 SQL 语句的结构和内容。- `parseStmt` 方法：与 `parseQuery` 方法相同，解析完整的 SQL 查询并返回 `SqlNode` 对象。
Apache Calcite的SqlDialect
junwen的博客
10-30 941
SqlDialect描述了SQL以下方面的信息 运算操作 org.apache.calcite.sql.SqlOperator 厂商 org.apache.calcite.sql.SqlDialect.DatabaseProduct 规范 org.apache.calcite.sql.validate.SqlConformance 类型系统 org.apache.calcite.r...
calcite-avatica-go：Apache Calcite的镜像-Avatica Go SQL驱动程序
01-28
Apache Avatica / Phoenix SQL驱动程序 Apache Calcite的Avatica Go是Avatica服务器的Go驱动程序。 Avatica是的子项目。快速开始使用Go模块安装： $ go get github.com/apache/calcite-avatica-goPhoenix / Avatica...
calcite文档 sql优化
02-10
calcite文档 sql calcite文档 sql calcite文档 sql calcite文档 sql
方解石avatica：Apache方解石的镜像-Avatica
01-30
Apache Calcite-Avatica Apache Calcite的Avatica是用于构建数据库驱动程序的框架。 Avatica是的子项目。 有关更多详细信息，请参见。 上提供了所有已发布版本的发行说明。
AthenaX：大规模基于SQL的流分析平台
01-30
AthenaX：大规模基于SQL的流分析平台AthenaX是一个流分析平台，使用户能够使用结构化查询语言（SQL）运行生产质量的大规模流分析。 AthenaX由发布并开源。 它能够跨数百台机器进行扩展，每天处理数千亿次实时事件。 ...
Unicode码，ASCII码与对应数值相互转换以及键盘扫描码（四个方向键）
热门推荐
Castlehe的博客
10-26 1万+
测试某个接口的时候，遇到如下返回值 [ { "answer":"\u60a8\u9700\u8981\u62e5\u6709\u4e00\u4e2a\u767e\u5ea6\u8d26\u53f7\uff0c\u7528\u6765\u767b\u5f55\u767e\u5ea6\u4e91\uff0c\u53ef\u4ee5\u70b9\u51fb\u6b64\u5904\u6ce8\u518c\u767e\u5ea6\u8d26\u6237\u3002\u5982\u60a8\u4ee5\u524d\u
【Druid 实战】Druid 的 SQL 中文乱码问题（avatica）
wuhulala的休息室
07-02 1491
场景 今天使用Druid，通过avatica客户端去查询的时候，发现返回值为空 select xx from table where a = '开心' 发现交互的时候，返回的Response里面返回的查询语句竟然是 select xx from table where a = '？？' 你妹啊，这问号啥意思。我就一个中文查询语句啊 冷静，冷静， 肯定是编码问题 问题排查 看源码 先获取utf-8的bytesarray => 由httpclient 作为 application/octet-st
Org.Apache.calcite.runtime.CalciteException: Failed to encode '全国' in character set 'ISO-8859-1’
04stone37
01-14 3870
CBO介绍  Hive从0.14.0开始引入CBO(Cost-Based Optimizer)，对HQL查询语句进行性能优化，在Hive 1.1.0之后，默认开启。 现象  HQL语句中包含中文，执行HQL时报错: Org.Apache.calcite.runtime.CalciteException: Failed to encode '全国' in character set 'ISO-885...
calcite中使用SqlFunction添加UDF，注册到Calcite的SqlOperatorTable中
03-31
1. 定义自定义函数类 首先需要定义一个自定义函数类，该类需要继承`org.apache.calcite.sql.SqlFunction`类，并实现其中的构造方法和`org.apache.calcite.sql.SqlKind`枚举类型。构造方法中需要设置函数名称、参数类型、返回类型等信息。 例如，定义一个自定义函数`myFunc`，该函数接收两个整型参数，并返回它们的和： ```java public class MyFunc extends SqlFunction { public MyFunc() { super("myFunc", SqlKind.OTHER_FUNCTION, ReturnTypes.INTEGER_NULLABLE, null, OperandTypes.family(SqlTypeFamily.INTEGER, SqlTypeFamily.INTEGER), SqlFunctionCategory.USER_DEFINED_FUNCTION); } @Override public SqlCall createCall(SqlLiteral functionQualifier, SqlParserPos pos, SqlNode... operands) { return new MyFuncCall(this, pos, operands[0], operands[1]); } } ``` 2. 定义自定义函数调用类 接下来需要定义一个函数调用类，该类需要继承`org.apache.calcite.sql.SqlCall`类，并实现其中的构造方法和`org.apache.calcite.sql.SqlKind`枚举类型。构造方法中需要设置函数调用的参数信息。 例如，定义一个自定义函数调用类`MyFuncCall`，该类用于调用`myFunc`函数： ```java public class MyFuncCall extends SqlCall { public MyFuncCall(SqlFunction function, SqlParserPos pos, SqlNode... operands) { super(pos); this.function = function; this.operands = operands; } @Override public SqlKind getKind() { return SqlKind.OTHER_FUNCTION; } @Override public SqlOperator getOperator() { return function; } @Override public List<SqlNode> getOperandList() { return Arrays.asList(operands); } @Override public void unparse(SqlWriter writer, int leftPrec, int rightPrec) { writer.keyword("myFunc"); writer.keyword("("); SqlNodeList nodeList = new SqlNodeList(operands, SqlParserPos.ZERO); nodeList.get(0).unparse(writer, leftPrec, rightPrec); writer.keyword(","); nodeList.get(1).unparse(writer, leftPrec, rightPrec); writer.keyword(")"); } } ``` 3. 注册自定义函数 最后需要将自定义函数注册到`org.apache.calcite.sql.SqlOperatorTable`中，以便在SQL查询中使用。 例如，在`org.apache.calcite.adapter.druid.DruidSchema`中注册自定义函数： ```java public class DruidSchema extends AbstractSchema { // ... @Override protected Map<String, org.apache.calcite.schema.Table> getTableMap() { Map<String, org.apache.calcite.schema.Table> map = new HashMap<>(); // ... // 注册自定义函数 SqlOperatorTable operatorTable = new SqlFunctionTable( ImmutableList.of( new MyFunc() )); map.put("functions", new FunctionTable(operatorTable)); return map; } } ``` 现在就可以在SQL查询中使用自定义函数了： ```sql SELECT myFunc(1, 2) FROM myTable ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值