首先安装linkis必须安装
MySQL (5.5+),如何安装MySQL
JDK (1.8.0_141以上),如何安装JDK
Python(2.x和3.x都支持),如何安装Python
Hadoop(社区版和CDH3.0以下版本都支持)
Hive(1.2.1,2.0和2.0以上版本,可能存在兼容性问题)
Spark(Linkis release0.7.0开始,支持Spark2.0以上所有版本)
这里创建部署用户(在hadoop用户中)
sudo useradd Hadoop 如果有hadoop不需要创建
设置sudo权限
cp /etc/sudoers /etc/sudoers.bak
chattr -i /etc/sudoers
Hadoop用户执行作业需要免密
vi /etc/sudoers
hadoop ALL=(ALL) NOPASSWD:ALL
需配置hadoop用户与localhost用户免密登录
创建ssh-key并将公钥复制至authorized_keys中
配置环境变量
vim /home/Hadoop/.bashrc
export JAVA_HOME=”/opt/java/jdk1.8.0_171”
export PATH=”$JAVA_HOME/bin:$PATH”
export CLASSPATH=”.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar”
export HADOOP_HOME=”/opt/cloudera/parcels/CDH/lib/hadoop”
export HADOOP_CONF_DIR=” /opt/cloudera/parcels/CDH/lib/Hadoop/etc/hadoop”
export SPARK_HOME=” /opt/cloudera/parcels/CDH/lib/spark”
安装linkis安装包
tar -xvf wedatasphere-linkis-0.9.0-dist-spark2.1 (1).tar
cp conf/config.sh conf/config.sh.bak
vim conf/config.sh
deployUser=hadoop #指定部署用户
LINKIS_INSTALL_HOME=/appcom/Install/Linkis # 指定安装目录
WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop # 指定用户根目录,一般用于存储用户的脚本文件和日志文件等,是用户的工作空间。
RESULT_SET_ROOT_PATH=hdfs://NNCluster/user/linkis/tmp # 结果集文件路径,用于存储Job的结果集文件
HDFS_USER_ROOT_PATH=hdfs://NNCluster/user/linkis
vim conf/db.sh
MYSQL_HOST=10.75.201.130
MYSQL_PORT=3306
MYSQL_DB=linkis
MYSQL_USER=root
MYSQL_PASSWORD=***
拷贝hdfs.keytab文件至本地目录下
安装执行
sudo sh bin/install.sh
启动服务
./bin/start-all.sh > start.log 2>start_error.log
安装参考https://github.com/WeBankFinTech/Linkis/wiki/如何快速安装使用Linkis