gs80140的专栏

然后观察这个服务的日志,可以看到上传错误的原因, 根据错误原因解决即, 我遇到的错误原因是hadoop集群出问题了, 导致无法上传了,修复了hadoop集群即可。

队列名应该是default, 不过我眼拙, 写上root, 仍然报错, 后又改成default, 还是报root, 可能有缓存?然后报错内存不足,这个好理解, 应该是内存配置的问题。linkis官方有说明。我看到的队列是这样的。

可以看到这个2.4.8应该是参数 wds.linkis.spark.engine.version 配置的, 那么下面的重点就是检查这个变量是在哪边使用的, 怎么拼接的, 以及如果查找的, 理论上来讲应该根据 SPARK_CONF_DIR 来查找,但是实际上并没有。我们直接检查linkis的配置目录: /home/hadoop/dss_linkis/linkis/conf。以上代码是从插件缓存中查询, 具体call代码怎么实现的, 还没来得及查找代码, 先去插件目录检查。这个时候,我们首先检查配置是否正确。