MaxCompute与Superset链接后chart计算产生Unexpected visit_column result异常

MaxCompute与Superset链接后chart计算产生Unexpected visit_column result异常

在SQL lab中代码正常运行,但是在chart中将条件设置为自定义列,使用这类代码一直提示Unexpected visit_column result错误,并且visit_column并不是数据列也不在Superset中。

如图:
在这里插入图片描述
在这里插入图片描述

产生原因(20240104更新)

有字段在判断条件中产生了两个以上的"."

SELECT CASE 
			WHEN GET_JAON_OBJECT(info , '$.col1') = 'a' THEN 'A'
			WHEN GET_JAON_OBJECT(info , '$.col1') = 'b' THEN 'B'
			WHEN GET_JAON_OBJECT(info , '$.col1') = 'c' THEN 'C'
			WHEN GET_JAON_OBJECT(info , '$.col1') = 'd' THEN 'D'
		ELSE NULL
		END AS test_col

我组长直接找到了odps/sqlalchemy_odps.py

在这里插入图片描述

class ODPSCompiler(compiler.SQLCompiler):
    def visit_column(self, *args, **kwargs):
        result = super(ODPSCompiler, self).visit_column(*args, **kwargs)
        dot_count = result.count('.')
        assert dot_count in (0, 1, 2), "Unexpected visit_column result {}".format(result)
        if dot_count == 2:
            # we have something of the form schema.table.column
            # hive doesn't like the schema in front, so chop it out
            result = result[result.index('.') + 1:]
        return result

    def visit_char_length_func(self, fn, **kw):
        return 'length{}'.format(self.function_argspec(fn, **kw))

    def __unicode__(self):
        return to_text(self)

发现是assert这里触发的Unexpected visit_column。阿里云工程师称目前排查到具体原因,是由于查询语句里的第二列是个比较复杂的嵌套,代码上在 pyodps sqlalchemy 接口里目前还不支持,所以提交执行会失败。dot_count = result.count('.')是解析代码列里"."的个数,默认column就是最多有三个部分,最上面这种复杂的嵌套查询,目前是不支持的。

解决办法

  • 如果是简单代码(如图1),计算式中的小数改为: * 整数 / 100
    在这里插入图片描述
    注:以上代码为MaxCompute文档中计算SQL费用代码。

  • 如果是复杂代码且无法修改逻辑,建议直接注释掉该断言assert dot_count in (0, 1, 2), "Unexpected visit_column result {}".format(result)。因为这样的复杂代码使用IF语句改写后大概率仍然报相同的错,小概率报一个SQL不完整的错,然后打开检查查询会发现SELECT语句会丢失一部分导致代码变得不完整,后台查log显示的也是代码不完整,但是定位不到是ODPS那一层逻辑导致语句开始部分代码丢失。

另:
根据阿里云工程师回复:截图中的代码主要是解析字段的, 目前支持解析的字段类型配置格式是 schema.table.column, 这个格式有三部分组成, 分别是 schema, table和column名称, 实际任务中配置的IF语句不符合这个格式所以抛出打印了异常日志信息, 其他不符合这个格式的也会打印这个信息。Schema是MaxCompute介于项目和表、资源、函数之间的概念,对表、资源、函数进行进一步归类,详情参考官方文档

  • 8
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值