本文用于记录工作中,阿里云DataWorks–odps常见报错及解决方案,欢迎分享。
注:其中ODPS SQL 和ODPS Script具体用法略有差异,执行相同sql任务,可能会报错。
1、未指定查询分区,全表扫描,查看表是否有分区表未指定分区
FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: Table(空间名,表名) is full scan with all partitions, please specify partition predicates.
2、没有权限 --涉及公司对部分用户、表权限问题,找公司领导申请权限,此处是用户没有某张表的访问权限
FAILED: ODPS-0130013:Authorization exception - Authorization Failed [4002], You don’t exist in project 空间名. Context ID:d01f0bae-d27d-41ad-819a-c4e5ab8f4315. —>Tips: CurrentProject:空间名; Pricipal:RAM$ascm-org-1613957221881:用户名; No permission ‘odps:Select’ on resource acs:odps:*:projects/空间名/tables/表名
3、没有表,检查表是否未创建
FAILED: ODPS-0130131:Table not found - ‘空间名.表名’ table not found
4、字段别名错误,检查表别名、字段别名、字段名是否一致,此处是b.zjlxz字段找不到
FAILED: ODPS-0130071:[89,7] Semantic analysis exception - column b.zjlx cannot be resolved
5、标点符号中英文错误,此处是语句结尾的“;”用的中文导致报错
FAILED: ODPS-0130161:[1,1] Parse exception - invalid token ’ ’
6、同一任务,执行多个查询语句(ODPS Script不支持同时执行两句以上select语句)
FAILED: ODPS-0130071:[28,1] Semantic analysis exception - only one screen printing statement is allowed
7、ODPS Script不支持查看建表语句(show create table ),可以在ODPS SQL中执行
FAILED: ODPS-0130071:[1,1] Semantic analysis exception - invalid statement or wrong position, valid sequence is [SET …], [DDL] then DML
8、UDTF报错,(本错误为执行explode函数时,旁边跟有别的字段导致报错),可参考explode函数的说明,将其作为临时视图使用。
FAILED: ODPS-0130071:[1,1] Semantic analysis exception - only a single expression in the SELECT clause is supported with UDTF’s
eg:
SELECT tmp.class
,b.name
FROM (
SELECT '1班' class
,'张三,李四,王五' name
) tmp
LATERAL VIEW explode(split(name,',')) b AS name
;
-- 执行结果:
-- class name
-- 1班 张三
-- 1班 李四
-- 1班 王五
9、脚本中含有字符‘$’导致解析异常,一般是任务需要获取参数,比如工作中需要指定运行环境生产、测试环境,或者指定运行日期之类的
FAILED: ODPS-0130161:[1,59] Parse exception - invalid token ‘$’