【大数据】Linkis如何安装部署，及一些常见问题

最新推荐文章于 2023-08-15 13:07:57 发布

慕沐.

最新推荐文章于 2023-08-15 13:07:57 发布

阅读量5.1k

点赞数

分类专栏：大数据文章标签： big data Linkis

本文链接：https://blog.csdn.net/cxh6863/article/details/122655704

版权

大数据专栏收录该内容

15 篇文章 5 订阅

订阅专栏

Linkis ，一个在上层应用程序和底层引擎之间的计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通。用于解决前台各种工具、应用，和后台各种计算存储引擎间的连接、访问和复用问题。

一、基础软件安装

软件	版本	是否必装
JDK	1.8.0_141以上	必须安装
MySQL	5.5+	必须安装
Python	2.x和3.x都支持	必须安装
Hadoop	社区版和CDH3.0以下版本都支持	根据需要
Hive	1.2.1，2.0和2.0以上版本，可能存在兼容性问题	根据需要
Spark	Linkis release0.7.0开始，支持Spark2.0以上所有版本	根据需要

二、Linkis环境准备

例如：部署用户是linkis

1、在部署机器上创建部署用户

sudo useradd linkis

2、为部署用户添加sudo权限，且免密

vim /etc/sudoers
linkis  ALL=(ALL)       NOPASSWD: NOPASSWD: ALL

3、设置如下的全局环境变量，以便Linkis能正常使用Hadoop、Hive和Spark

以部署用户是linkis为例

vim /home/linkis/.bashrc

#JDK
export JAVA_HOME=/nemo/jdk1.8.0_141
##如果不使用Hive、Spark等引擎且不依赖Hadoop，则不需要修改以下环境变量
#HADOOP  
export HADOOP_HOME=/appcom/Install/hadoop
export HADOOP_CONF_DIR=/appcom/config/hadoop-config
#Hive
export HIVE_HOME=/appcom/Install/hive
export HIVE_CONF_DIR=/appcom/config/hive-config
#Spark
export SPARK_HOME=/appcom/Install/spark
export SPARK_CONF_DIR=/appcom/config/spark-config/
export PYSPARK_ALLOW_INSECURE_GATEWAY=1  # Pyspark必须加的参数

4、下载Linkis安装包

下载地址：https://github.com/apache/incubator-linkis/releases

5、解压安装包到安装目录

tar -xvf  wedatasphere-linkis-x.x.x-combined-package-dist.tar.gz

解压后切到linkis的目录下，进行修改配置
在这里插入图片描述

6、修改基础配置（依赖HDFS/Hive/Spark）

vim config/linkis-env.sh

    SSH_PORT=22        #指定SSH端口，如果单机版本安装可以不配置
    deployUser=linkis      #指定部署用户
    WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop    # 指定用户根目录，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。
    RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis   # 结果集文件路径，用于存储Job的结果集文件
    ENGINECONN_ROOT_PATH=/appcom/tmp #存放ECP的安装路径，需要部署用户有写权限的本地目录
    ENTRANCE_CONFIG_LOG_PATH=hdfs:///tmp/linkis/  #ENTRANCE的日志路径

    #因为1.0支持多Yarn集群，使用到Yarn队列资源的一定需要配置YARN_RESTFUL_URL
    YARN_RESTFUL_URL=http://127.0.0.1:8088  #Yarn的ResourceManager的地址

    # 如果您想配合Scriptis一起使用，CDH版的Hive，还需要配置如下参数（社区版Hive可忽略该配置）
    HIVE_META_URL=jdbc://...   # HiveMeta元数据库的URL
    HIVE_META_USER=   # HiveMeta元数据库的用户
    HIVE_META_PASSWORD=    # HiveMeta元数据库的密码
    
    # 配置hadoop/hive/spark的配置目录 
    HADOOP_CONF_DIR=/appcom/config/hadoop-config  #hadoop的conf目录
    HIVE_CONF_DIR=/appcom/config/hive-config   #hive的conf目录
    SPARK_CONF_DIR=/appcom/config/spark-config #spark的conf目录

    ## LDAP配置，默认Linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数：
    #LDAP_URL=ldap://localhost:1389/ 
    #LDAP_BASEDN=dc=webank,dc=com
    
    ##如果spark不是2.4.3的版本需要修改参数：
    #SPARK_VERSION=3.1.1

    ##如果hive不是1.2.1的版本需要修改参数：
    #HIVE_VERSION=2.3.3

注意：在配置中有些是file:///、hdfs:///开头的，这些是必须的，我们只修改后边的路径即可

假如你不依赖HDFS/Hive/Spark
可按照如下配置


    #SSH_PORT=22        #指定SSH端口，如果单机版本安装可以不配置
    deployUser=hadoop      #指定部署用户
    LINKIS_INSTALL_HOME=/appcom/Install/Linkis    # 指定安装目录
    WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop    # 指定用户根目录，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。
    RESULT_SET_ROOT_PATH=file:///tmp/linkis   # 结果集文件路径，用于存储Job的结果集文件
    ENGINECONN_ROOT_PATH=/appcom/tmp #存放ECP的安装路径，需要部署用户有写权限的本地目录
    ENTRANCE_CONFIG_LOG_PATH=file:///tmp/linkis/  #ENTRANCE的日志路径
    ## LDAP配置，默认Linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数：
    #LDAP_URL=ldap://localhost:1389/ 
    #LDAP_BASEDN=dc=webank,dc=com

7、修改数据库配置

vim config/db.sh

    # 设置数据库的连接信息
    # 包括IP地址、数据库名称、用户名、端口
    # 主要用于存储用户的自定义变量、配置参数、UDF和小函数，以及提供JobHistory的底层存储
    MYSQL_HOST=
    MYSQL_PORT=
    MYSQL_DB=
    MYSQL_USER=
    MYSQL_PASSWORD=

三、安装与启动

8、执行安装脚本

sh bin/install.sh

第一次安装的是否会询问您是否需要初始化数据库并导入元数据，选择是，这样会把数据库中的用户数据清空
通过查看控制台打印的日志信息查看是否安装成功。

9、启动Linkis

sh sbin/linkis-start-all.sh

可以在Eureka界面查看服务启动成功情况，查看方法：

使用http://${EUREKA_INSTALL_IP}:${EUREKA_PORT}, 在浏览器中打开，查看服务是否注册成功。
在这里插入图片描述

四、安装过程中常见的问题

1、need ‘mysql’ (your linux command not found)

在这里插入图片描述

出现这个问题呢，一个可能是你没有安装mysql，一个是可能linkis用户没有访问mysql的权限，只要你能在你的安装用户下（我这里是Linkis用户）能访问mysql就可以了

2、need ‘dos2unix’ (your linux command not found)

在这里插入图片描述
出现这个问题呢，是缺少dos2unix，安装即可

sudo yum -y install dos2unix

3、Failed to + create hdfs:///data/linkis directory

在这里插入图片描述
这个呢，是因为不能访问hdfs的原因，一个可能是没安装，安装即可，另一个可能是安装了，但可能是别的用户下安装的，你没有权限访问，开通访问权限即可，及在你部署的用户（我的是linkis用户）下可以使用hdfs命令，那就可以了。
一般可能处理的方式是export hdfs的安装路径，是hdfs的安装路径的访问权限。