【大数据】Linkis安装及使用各种引擎过程中常见的一些问题及解决方法

我们都知道Linis是连接多个计算存储引擎的中间间，我们可以提交执行SQL、Pyspark、HiveQL、Scala等脚本。Linis中有一个专门处理引擎的模块（Linkis/linkis-engineconn-plugins）,我们安装Linis后，默认的引擎只有hive/python/shell/spark，但其支持的引擎很多，所以，如果我们想要用默认之外的其他引擎，需要自己安装。

一、引擎安装

比如，JDBC引擎就需要自己安装
（1）在Linkis/linkis-engineconn-plugins下找到要安装的引擎，进行编译打包
（2）打包成功后相应target下会有个out.zip文件，放到我们Linkis安装目录，解压
（3）重启Linis即可

二、Linkis安装常见问题&解决方法

（1）找不到插件

修改插件管理的配置文件linkis-cg-engineplugin.properties
设置wds.linkis.engineconn.home和wds.linkis.engineconn.plugin.loader.store.path，都是对应我们的插件路径（LinkisInstall/lib/linkis-engineconn-plugins/）

（2）必须的环境变量不存在

修改配置文件linkis-cg-engineconnmanager.properties，设置wds.linkis.engineconn.env.keys为环境变量.bashrc所设置的HIVE_HOME

三、引擎使用常见问题&解决方法

在使用引擎时，不免有些奇奇怪怪的错误，接下来就总结些我遇到的问题及结果过程

1、Hive引擎插件

（1）默认版本与我们设置的版本不一致
删掉原有引擎文件夹，自己进行引擎安装即可
（2）Class xxx was not found.
例如：Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found.

这是因为缺少一些依赖包，我们找到相应的包拷贝到Linkis的插件hive中即可
位置：LinkisInstall/lib/linkis-engineconn-plugins/hive/dist/vx.x.x/lib）
类似还有缺少一些别的依赖包
缺少的jar：datanucleus-api-jdo-x.x.x.jar、datanucleus-rdbms-x.x.x.jar、javax.jdo-x.x.x-m3.jar、jdo-api-x.x.x.jar
这里xxx对应自己用的版本号即可

2、JDBC引擎插件

（1）空指针异常
这里是因为获取jdbc.auth.type时可能获取null值导致的
修改org.apache.linkis.manager.engineplugin.jdbc.ConnectionManager的getJdbcAuthType方法，增加判断

3、Presto引擎插件

（1）Class xxx was not found.
使用Presto也有些缺少的依赖包，会报Class xxx was not found.
我们找到对应的包放到引擎插件下即可
位置：LinkisInstall/lib/linkis-engineconn-plugins/jdbc/dist/v4/lib
缺少的jar：presto-jdbc-xxx.jar、hive-cli-xxx.jar、hive-common-xxx.jar、hive-exec-xxx.jar、hive-jdbc-xxx.jar、hive-metastore-xxx.jar、hive-serde-xxx.jar、hive-service-xxx.jar、mysql-connector-java-xxx.jar
这里xxx对应自己用的版本号即可