微众银行DSS部署单机-普通版

我的服务器

centos 7.0
8C16G +100G机械硬盘。

我的配置

.bashrc文件内容****
#JDK
export JAVA_HOME=/usr/local/jdk1.8.0_172
#HADOOP
export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.2/etc/hadoop
#Hive
export HIVE_CONF_DIR=/usr/local/apache-hive-1.2.1-bin/conf
#Spark
export SPARK_HOME=/usr/local/spark-2.4.7-bin-hadoop2.7
export SPARK_CONF_DIR=/usr/local/spark-2.4.7-bin-hadoop2.7/conf
export PYSPARK_ALLOW_INSECURE_GATEWAY=1 # Pyspark必须加的参数

vim conf/config.sh

#########################################################################################
#######################  Must provided Configurations  ###################################
##########################################################################################

### The install home path of Linkis

#!/bin/sh
#Actively load user env

SSH_PORT=22

deployUser="`whoami`"

### Specifies the user workspace, which is used to store the user's script files and log files.
### Generally local directory
WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis/ ##file:// required

### User's root hdfs path
HDFS_USER_ROOT_PATH=hdfs:///tmp/linkis ##hdfs:// required

### Path to store job ResultSet:file or hdfs path
RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis

# Used to store the azkaban project transformed by DSS
WDS_SCHEDULER_PATH=file:///appcom/tmp/wds/scheduler

#DSS Web
DSS_NGINX_IP=127.0.0.1
DSS_WEB_PORT=8088

###azkaban  address for check
AZKABAN_ADRESS_IP=127.0.0.1
AZKABAN_ADRESS_PORT=38081
#
####qualitis address for check
QUALITIS_ADRESS_IP=127.0.0.1
QUALITIS_ADRESS_PORT=8090

##hive metastore
HIVE_META_URL=jdbc:mysql://172.30.80.200:3306/hive?useUnicode=true
HIVE_META_USER=root
HIVE_META_PASSWORD=zydl2019

###HADOOP CONF DIR
HADOOP_CONF_DIR=/usr/local/hadoop-2.7.2/etc/hadoop

###HIVE CONF DIR
HIVE_CONF_DIR=/usr/local/apache-hive-1.2.1-bin/conf

###SPARK CONF DIR
SPARK_CONF_DIR=/usr/local/spark-2.4.7-bin-hadoop2.7/conf


##########################################################################################
####The following parameters can be modified by the user as required, but not necessary###
##########################################################################################

## LDAP is for enterprise authorization, if you just want to have a try, ignore it.
#LDAP_URL=ldap://localhost:1389/
#LDAP_BASEDN=dc=webank,dc=com

## java application default jvm memory
export SERVER_HEAP_SIZE="512M"

LINKIS_VERSION=0.9.3

DSS_VERSION=0.7.0

-------------------------------------------------------------------------------------------------------------

vim conf/db.sh

这是存dss业务表的

mysql
172.30.80.200
3306
dss
root
123456

QA

一、hadoop web 默认占用8088 端口 可以修改hadoop 这个端口
二、nginx 部署小心没有pid，杀死为 pkill nginx
三、azkaban 、qualitis 服务需要自己 去到对应目录下，
azkaban 需要到 cd /azkaban 路径 执行 sh /bin/start-solo.sh
qualitis 需要到 cd qualitis 路径 执行 sh bin/start.sh
四、azkaban 8081 端口 会被hadoop 默认端口占用 我改成 38081，修改位置 在dss_linkis/azkaban/conf/azkaban.properties
五、qualitis 需要自己启动 默认端口 8090 登录帐号密码 admin admin
六、DSS登录用户 跟系统用户有关，如果你当前linux 用户为root 那么 登录dss用户为 root root
七、当配置完成之后就是执行脚本了
先安装
sh bin/install.sh
启动所有包
sh bin/start-all.sh
启动 azkaban
sh bin/start-solo.sh
启动qualities
sh bin/start.sh
八、最大问题是 执行spark 日志告诉我 没有充足的资源。我还没有找到问题，有大佬指点下就好。
九、https://github.com/WeBankFinTech/Linkis/wiki/Q&A-%E9%97%AE%E9%A2%98%E6%80%BB%E7%BB%93 这里有好多可以找到问题答案的。