声明：此博客只是给自己看的，当做记录文档
说明：dss-alone:192.168.2.226
在192.168.2.241上操作
*docker network ls（查看）
先在192.168.2.241（物理机）上加载容器与宿主机关联
docker run -d \
--network macvlan-net-1 --ip=192.168.2.226 \
-p 10022:22 \
-p 17180:7180 \
--restart always \
--name dss-alone \
-h dss-alone \
--privileged \
cdh_img \
/usr/sbin/init \
&& docker ps
********换IP,重复执行三次********
++++++++++++++++规划环境及版本++++++++++++++++++++++++++
--centos7
--DataSphere Studio1.1.0 完成
--jdk1.8.0_212 完成
--hadoop2.7.2 完成
--hive2.3.3 完成
--Spark2.4.3 完成
--mysql5.6 完成 ------》最好为5.7
--Python2.7.5 完成
--nginx/1.22.0 完成
--linkis1.1.1 完成
--schedulis0.7.0 完成
--Visualis1.0.0 完成
--flink-1.12.2 完成
--numpy-1.9.2完成
--pandas-0.16.2完成
--zookeeper-3.5.7完成
--kafka_2.12-3.0.0完成
组件版本要求AppConn部署
Schedulis0.7.0ShdlsSchedulis AppConn安装 完成
visualis1.0.0VsaiVisualis AppConn安装 完成
Exchangis1.0.0EcagsExchangis AppConn安装 完成
qualitis0.9.2QaiiQualitis AppConn安装 完成
Prophecis0.3.2PohcsProphecis AppConn安装
streamis0.2.0SraiStreamis AppConn安装 完成
DolphinScheduler1.3.9DolphinScheduler AppConn安装 完成
++++++++++++++++++++++++++++++++++++++++++++++++++++++++
hadoop3.1.1，hive3.1.2 spark3.0.1flink1.13.2, linkis1.3.1dss1.1.1, streamis0.2.4的。
++++++++++++++++++++++++++++++++++++++++++++++++++++++++
1。 虚拟机环境准备
（1）修改克隆虚拟机的静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#192.168.235.201
#192.168.235.2
（2）修改主机名称
vim /etc/hostname
（3）配置主机名称映射，打开/etc/hosts
sudo vim /etc/hosts
2。用户准备（su - hadoop的免密操作）
添加用户
useradd -m hadoop(-m 自动建立用户的登入目录)
passwd hadoop
$ id hadoop
vi /etc/sudoers
#免密配置
hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL
3.安装mysql
1）查看MySQL是否安装
rpm -qa|grep -i mysql
（2）如果安装了MySQL，就先卸载
rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
（3）删除阿里云原有MySql依赖
yum remove mysql-libs
（4）下载MySql依赖并安装
yum install libaio
yum -y install autoconf
wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm
wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-5.6.24-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-5.6.24-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm
（5）上传mysql-libs.zip到dss-alone的/opt/software目录，并解压文件到当前目录
yum install unzip
unzip mysql-libs.zip
（1）安装MySQL服务端
rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
cat /root/.mysql_secret
5y0iVIlMzgVY_Df3
（3）查看MySQL状态
service mysql status
（4）启动MySQL
service mysql start
3）安装MySQL客户端
rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
mysql -uroot -pOEXaQuS8IWkG19Xs
（3）修改密码
mysql>SET PASSWORD=PASSWORD('root');
4）MySQL中user表中主机配置
mysql>use mysql;
（7）修改user表，把Host表内容修改为%
mysql>update user set host='%' where host='localhost';
（8）删除root用户的其他host
mysql> delete from user where host!='%';
（9）刷新
mysql>flush privileges;
4.切换成hadoop用户
配置自身免密登录
ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@DSS
注：不能一直回车，看提示写yes
#测试免密
ssh hadoop@DSS
5。安装jdk1.8
卸载现有JDK:rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps
解压到指定目录：tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
配置环境变量：sudo vim /etc/profile.d/dss_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/moudle/jdk1.8.0_212
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
重新加载：source /etc/profile
6。安装nginx
#添加源默认情况Centos7中无Nginx的源，最近发现Nginx官网提供了Centos的源地址。因此可以如下执行命令添加源：
rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
#安装Nginx通过yum search nginx看看是否已经添加源成功。如果成功则执行下列命令安装Nginx。
yum install -y nginx
#启动Nginx并设置开机自动运行
#验证启动
sudo systemctl start nginx
sudo systemctl enable nginx
#验证
nginx -v
7。安装python
wget https://bootstrap.pypa.io/pip/2.7/get-pip.py
#安装pip
sudo python get-pip.py
#安装matplotlib
pip install matplotlib
8.安装Hadoop
mkdir -p /opt/module/hadoop-2.7.2/hadoopinfra/hdfs/namenode
mkdir -p /opt/module/hadoop-2.7.2/hadoopinfra/hdfs/datanode
配置：hdfs-site.xml / yarn-site.xml（ip） /
mapred-site.xml / core-site.xml(ip) / workers(ip)
hdfs namenode -format
service iptables status(查看防火墙的状态)
9.安装hive
配置：hive-env.sh / hive-site.xml（ip）
在lib中添加mysql-connector-java-5.1.49.jar .
create database metastore;
nohup hive --service metastore >> metastore.log 2>&1 &
nohup hive --service hiveserver2 >> hiveserver2.log 2>&1 &
测试：hive -e "show databases"
10安装spark
配置spark-defaults.conf（ip） / workers(ip) / hive-site.xml(ip)
cp -rf spark-2.4.3-bin-hadoop2.7/jars/ /opt/spark/spark-2.4.3-bin-without-hadoop/
cp -rf /opt/module/hive-2.3.3/lib/mysql-connector-java-5.1.49.jar /opt/module/spark-2.4.3/jars/
更改环境变量：指定master节点
启动，测试：spark-sql -e "show databases"
11.安装dss
修改conf下的配置文件：（ip）
11.1下载相关环境
sudo yum install -y unzip zip
sudo yum -y install epel-release
sudo yum install -y python-pip
sudo yum install -y dos2unix
sudo yum install python-matplotlib.x86_64
11.2更改配置：dss/conf 目录下的 config.sh 和 db.sh
11.3创建数据仓库：create database dss;
11.4sh install.sh
键入操作：1,1,2，2
11.5修改 linkis-ps-publicservice.properties 配置，否则 hive 数据库刷新不出来表
linkis.metadata.hive.permission.with-login-user-enabled=false
cp /opt/module/hive-2.3.3/lib/datanucleus-* /opt/module/dss/linkis/lib/linkis-engineconn-plugins/hive/dist/v2.3.3/lib/
cp /opt/module/hive-2.3.3/lib/*jdo* /opt/module/dss/linkis/lib/linkis-engineconn-plugins/hive/dist/v2.3.3/lib/
尝试启动 sh start-all.sh（Hadoop，spark，metastore，hiveserver2启动的前提下）
启动条件
cd /opt/module/hadoop-2.7.2/sbin/
./start-all.sh(启动dfs,yarn )
nohup hive --service metastore >> metastore.log 2>&1 &
nohup hive --service hiveserver2 >> hiveserver2.log 2>&1 &
cd /opt/module/spark-2.4.3/sbin/
./start-all.sh(启动spark)
cd /opt/module/dss/bin/
sh ./start-all.sh (启动dss)
安装成功后，有6个DSS服务，8个Linkis服务
-------------------------------------------------------------------------
12.DSS与Schedulis的集成安装教程（单机）
maven
maven 官网地址：https://maven.apache.org/download.cgi\
mkdir -p /usr/local/maven
tar -zxvf apache-maven-3.8.5-bin.tar.gz -C /usr/local/maven
cd /usr/local/maven/apache-maven-3.8.5/
cd conf/
mkdir -p /m2/repository
vi settings.xml
git
yum install -y git
git --version
创建文件夹：schedulis(包含下面四个)
host.properties（自己创建）
logs（自己创建）
schedulis_0.7.0_exec（下载解压）
schedulis_0.7.0_web（下载解压）
1). mysql> source 脚本存放目录/hdp_schedulis_deploy_script.sql ---初始化数据库
2). 此配置文件存放的路径请参考或者修改 ExecServer 安装包下的 bin/internal/internal-start-executor.sh 文件中的 KEY 值 hostConf
该文件记录的是 Executor 端的所有执行节点 Hostname 和 ServerId， 需保持每台执行机器上的该文件内容一致
3). Executor Server 配置修改
执行包修改（自动化部署无需执行该步骤）
项目文件根目录下的 bin/construct 目录中任务执行依赖的包 execute-as-user ，
复制到 Executor Server 的 lib 下（schedulis_xxx_exec/lib/），并且更新权限
sudo chown root execute-as-user
sudo chmod 6050 execute-as-user
4).修改配置
/opt/module/schedulis-0.7.0/schedulis_0.7.0_exec/conf/azkaban.properties （IP）
/opt/module/schedulis-0.7.0/schedulis_0.7.0_exec/conf/global
/opt/module/schedulis-0.7.0/schedulis_0.7.0_exec/plugins/jobtypes/commonprivate.properties
/opt/module/schedulis-0.7.0/schedulis_0.7.0_exec/plugins/jobtypes/common.properties（245有问题，ip）
/opt/module/schedulis-0.7.0/schedulis_0.7.0_exec/plugins/jobtypes/linkis/plugin.properties(ip)
/opt/module/schedulis-0.7.0/schedulis_0.7.0_exec/plugins/jobtypes/linkis/private.properties
/opt/module/schedulis-0.7.0/schedulis_0.7.0_exec/bin/internal/internal-start-executor.sh
/opt/module/schedulis-0.7.0/schedulis_0.7.0_exec/bin/internal/util.sh
/opt/module/schedulis-0.7.0/schedulis_0.7.0_web/conf/azkaban.properties (IP)
/opt/module/schedulis-0.7.0/schedulis_0.7.0_web/conf/log4j2.xml
/opt/module/schedulis-0.7.0/schedulis_0.7.0_web/bin/internal/internal-start-web.sh
5).Schedulis AppConn 插件安装(具体可参考下面链接)
方法一优先选择
https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/
方法二
在dss数据库执行
mysql -uroot -proot
use dss ;
source /opt/module/dss/dss/dss-appconns/schedulis/db/init.sql
修改表dss_appconn_instance
将id为5的url修改为http://192.168.2.226:8081/
6).重新启动dss
7).访问http://192.168.2.226:8081/
在跳出的登陆界面输入默认的用户名和密码
username : superadmin
pwd : Abcd1234
--------------------------------(可选)------------------------------------------------------------
Schedulis Linkis JobType 安装文档
Schedulis 的 Linkis JobType 自动化部署安装步骤
进入到Schedulis目录
##用户首先需要到Schedulis的安装目录，具体操作命令如下：
cd xx/schedulis_0.7.0_exec/plugins/jobtypes/linkis/bin
修改config.sh配置
## Linkis gateway url
LINKIS_GATEWAY_URL=http://127.0.0.1:9001 ## linkis 的 GateWay 地址
## Linkis gateway token default WS-AUTH
LINKIS_GATEWAY_TOKEN=WS-AUTH ## Linkis 的代理 Token，该参数可以用默认值
## Azkaban executor host
AZKABAN_EXECUTOR_HOST=127.0.0.1
## SSH Port
SSH_PORT=22 ## SSH 端口
## Azkaban executor dir
AZKABAN_EXECUTOR_DIR=xx/schedulis_0.7.0_exec
## Azkaban executor plugin reload url
AZKABAN_EXECUTOR_URL=http://$AZKABAN_EXECUTOR_HOST:12321/executor?action=reloadJobTypePlugins
执行安装脚本
sh install.sh
--------------------------------（结束）------------------------------------------------------------
13.数据库连接引擎集成
https://linkis.apache.org/zh-CN/docs/latest/engine-usage/jdbc/
下载相关物料包
mv ./jdbc /opt/module/dss/linkis/lib/linkis-engineconn-plugins/
cd ${LINKIS_HOME}/sbin （重启服务）
sh linkis-daemon.sh restart cg-engineplugin
-------------------------------------------------------------------------------------------------------
14.DSS与Visualis的集成安装教程（单机）
解压压缩包 unzip
create database visualis;
source ${visualis_home}/davinci.sql
source ${visualis_home}/ddl.sql
2.3. 字体库安装
对于邮件报表而言，需要渲染中文字体，其中Visualis截图功能依赖中文字体，在部署的机器上/usr/share/fonts目录下。
新建一个visualis文件夹，上传Visualis源码包中ext目录下的pf.ttf到该visualis文件夹下，
执行fc-cache –fv命令刷新字体缓存即可。
# 需要切换到root用户
sudo su
cd /usr/share/fonts
mkdir visualis
# 上传pf.ttf中文字体库
rz -ybe
# 刷新字体库缓存
fc-cache –fv
在使用visualis时，调用预览功能或在工作流中执行Display和Dashboard时，如果提示报错：
error while loading shared libraries: libfontconfig.so.1: cannot open shared object file: No such file or directory，
是由于部署visualis的机器缺少相关依赖导致报错，执行sudo yum -y install fontconfig-devel安装依赖。
cd /data/dss_linkis/web/dss/visualis
cd build # 进入到解压路径
cp ./* /opt/module/dss/web/dss/visualis/
前端部署配置后，可以重启nginx或者刷新nginx配置使得上述配置生效sudo nginx -s reload。
修改配置：
/opt/module/visualis-server/conf/application.yml （IP）
/opt/module/visualis-server/conf/ linkis.properties (IP)
修改linkis.properties
如果部署的hadoop集群开启了Kerberos，需要在visualis的配置文件linkis.properties文件中开启Kerberos，加入配置项：
wds.linkis.keytab.enable=true
启动服务
sh ./start-server.sh
备注：如果启动服务时，报启动脚本的换行符无法识别，需要在服务器上对脚本进行编码转换使用：dos2unix xxx.sh 命令进行转换
# 查看服务启动日志
less logs/linkis.out
AppConn安装
将解压Visualis AppConn包 放入${DSS_INSTALL_HOME}/dss/dss-appconns
cd {DSS_INSTALL_HOME}/dss/bin
sh appconn-install.sh
# 输入Visualis名称
>> visualis
# 输入Visualis前端IP地址
>> 192.168.2.226
# 输入Visualis服务的前端端口后
>> 8088
修改完成后需要重启DSS服务
详情可参考：https://github.com/WeBankFinTech/Visualis/blob/master/visualis_docs/zh_CN/Visualis_deploy_doc_cn.md
--------------------------visualis集成完成--------------------------------------
--------------------------集成 exchangis---------------------------------------------
https://github.com/WeBankFinTech/Exchangis/blob/dev-1.0.0/docs/zh_CN/ch1/exchangis_deploy_cn.md
1.3 在linkis中配置授权认证
1）为exchangis加数据源认证的token
通过在linkis数据库中执行以下语句，为Exchangis分配专属token：
INSERT INTO `linkis_mg_gateway_auth_token`(`token_name`,`legal_users`,`legal_hosts`,`business_owner`,`create_time`,`update_time`,`elapse_day`,`update_by`) VALUES ('EXCHANGIS-AUTH','*','*','BDP',curdate(),curdate(),-1,'LINKIS');
2）为exchangis加hive数据源的认证
通过在linkis数据库中执行以下sql语句，插入hive数据源环境配置，注意，执行前需要修改语句中的${HIVE_METADATA_IP}和${HIVE_METADATA_PORT}，例如${HIVE_METADATA_IP}=127.0.0.1，${HIVE_METADATA_PORT}=3306：
INSERT INTO `linkis_ps_dm_datasource_env` (`env_name`, `env_desc`, `datasource_type_id`, `parameter`, `create_time`, `create_user`, `modify_time`, `modify_user`) VALUES ('开发环境SIT', '开发环境SIT', 4, '{"uris":"thrift://${HIVE_METADATA_IP}:${HIVE_METADATA_PORT}", "hadoopConf":{"hive.metastore.execute.setugi":"true"}}', now(), NULL, now(), NULL);
INSERT INTO `linkis_ps_dm_datasource_env` (`env_name`, `env_desc`, `datasource_type_id`, `parameter`, `create_time`, `create_user`, `modify_time`, `modify_user`) VALUES ('开发环境UAT', '开发环境UAT', 4, '{"uris":"thrift://${HIVE_METADATA_IP}:${HIVE_METADATA_PORT}", "hadoopConf":{"hive.metastore.execute.setugi":"true"}}', now(), NULL, now(), NULL);
修改配置：（IP）
/opt/module/exchangis/config/application-exchangis.yml
/opt/module/exchangis/config/ config.sh
/opt/module/exchangis/config/db.sh
/opt/module/exchangis/config/exchangis-server.properties
创建数据库exchangis
1.执行一键安装脚本
在sbin目录下执行 install.sh 脚本，完成一键安装部署：
./install.sh
初始化数据库表
当出现该提醒时：Do you want to initalize database with sql: [${SQL_SOURCE_PATH}]?
输入 y 初始化数据库表。
2 启动服务
./daemon.sh start server
3.前端安装部署
解压前端安装包
将 Exchangis 前端包部署到 /opt/module/dss/web/dss/exchangis目录，请先将 dist.zip 拷贝到该目录并执行解压，
vim /etc/nginx/conf.d/exchangis.conf
sudo nginx -t
sudo nginx -s reload
5.ExchangisAppConn插件的部署和配置总体步骤
拿到打包出来的exchangis-appconn.zip物料包解压到下面目录
/opt/module/dss/dss/dss-appconns
cd {DSS_INSTALL_HOME}/dss/bin
./install-appconn.sh
# 脚本是交互式的安装方案，您需要输入字符串exchangis以及exchangis服务的ip和端口，即可以完成安装
# 这里的exchangis端口是指前端端口，在nginx进行配置。而不是后端的服务端口
查看dss数据库的改变
重启dss,测试服务。
————————----------------------完成----------------------------------------------------
----------dss集成小海豚--------------------------------------------------------------
https://dolphinscheduler.apache.org/zh-cn/docs/1.3.9/standalone-deployment
详情请参考上面链接。
安装nodejs
1. tar xvJf node-v18.12.1-linux-x64.tar.xz -C /opt/module/
如果您是本地第一次使用，必须在最外层工程pom.xml所在目录先执行以下命令：
mvn -N install
在最外层工程pom.xml所在目录执行以下命令
mvn clean install
获取安装包，在工程的assembly->target目录下：
wedatasphere-dss-x.x.x-dist.tar.gz
sql类型：支持查询和非查询两种，查询是select类型的查询，是有结果集返回的，可以指定邮件通知为表格、附件或表格附件三种模板。
非查询是没有结果集返回的，是针对update、delete、insert三种类型的操作。
-----------结束----------------------------------------------------------------------
-------流式计算开始---------------------
物料包文件会在Linkis服务启动时候，会根据目录，解析出引擎和版本号，进行引擎物料的持久化存储(HDFS/本地文件系统中)，
并将持久化存储信息(引擎类型和版本资源索引） 记录到数据库表linkis_cg_engine_conn_plugin_bml_resources中。
5.Streamis AppConn安装原理
Streamis 的相关配置信息会插入到以下表中，通过配置下表，可以完成 Streamis 的使用配置。(注：如果仅仅需要快速安装APPCONN，无需过分关注以下字段，提供的init.sql中大多以进行默认配置。重点关注以上操作即可)
表名表作用备注
dss_workspace_dictionary配置流式生产中心必须
dss_appconnAppConn的基本信息，用于加载AppConn必须
dss_workspace_menu_appconnAppConn菜单，前端连接Streamis必须
dss_appconn_instanceAppConn的实例的信息，包括自身的url信息必须
2.安装streamis
3.前端部署
4.StreamisAppConn 插件
5. Linkis Flink 引擎安装
准备知识，FlinkSQL的Connector插件
FlinkSQL可以支持多种数据源,例如binlog,kafka,hive等,如果您想要在Flink代码中使用这些数据源，
您需要将这些connector的插件jar包放置到flink引擎的lib中，并重启下Linkis的EnginePlugin服务。
如你想要在您的FlinkSQL中使用binlog作为数据源，那么您需要将flink-connector-mysql-cdc-1.1.1.jar放置到flink引擎的lib中。
cd ${LINKS_HOME}/sbin
sh linkis-daemon.sh restart cg-engineplugin
sh ./linkis-cli -engineType flink-1.12.2 -codeType sql -code "show tables" -submitUser hadoop -proxyUser hadoop
## codeType对应关系 py-->pyspark sql-->sparkSQL scala-->Spark scala
sh ./bin/linkis-cli -engineType spark-2.4.3 -codeType sql -code "show tables" -submitUser hadoop -proxyUser hadoop
# 可以在提交参数通过-confMap wds.linkis.yarnqueue=dws 来指定yarn 队列
sh ./bin/linkis-cli -engineType spark-2.4.3 -codeType sql -confMap wds.linkis.yarnqueue=default -code "show tables" -submitUser hadoop -proxyUser hadoop
Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。
https://flink.apache.org/zh/downloads.html
https://archive.apache.org/dist/flink/flink-1.12.2/ |flink 下载地址
FlinkSQL可以支持多种数据源,例如binlog,kafka,hive等,
--------------结束------------------------------------------
------------linux安装kafka-------------------------------
注意：停止Kafka集群时，一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。
因为Zookeeper集群当中记录着Kafka集群相关信息，Zookeeper集群一旦先停止，
Kafka集群就没有办法再获取停止进程的信息，只能手动杀死Kafka进程了。
创建first topic
bin/kafka-topics.sh --bootstrap-server dss-alone:9092 --create --partitions 1 --replication-factor 3 --topic first
查看first主题的详情
bin/kafka-topics.sh --bootstrap-server dss-alone:9092 --describe --topic first
修改分区数（注意：分区数只能增加，不能减少）
bin/kafka-topics.sh --bootstrap-server dss-alone:9092 --alter --topic first --partitions 3
把主题中所有的数据都读取出来（包括历史数据）。
[hadoop@dss-alone kafka]$ bin/kafka-console-consumer.sh --bootstrap-server dss-alone:9092 --from-beginning --topic first
-------------结束------------------------------------------
-----------流式计算测试--------------------
spark引擎测试通过
./bin/linkis-cli -engineType spark-2.4.3 -codeType sql -code "show databases;" -submitUser hadoop -proxyUser hadoop
flinkis引擎测试失败
Session Cluster模式
/yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d
yarn application --kill application_1674955576783_0003
Per Job Cluster模式。
。。。
2）初始化表
use streamx;
source /opt/module/streamx-console-service-1.2.2/script/final.sql
3）配置连接信息
-------------linux安装oracle-------------------------------
-------------结束------------------------------------------
------------qualitis安装部署-------------------------------
下载gradle-4.6,配置环境变量
gradle clean distZip
报错
Required by:
project :web/user
> Could not find org.forgerock.commons:forgerock-util:2.0.0-SNAPSHOT.
Searched in the following locations:
file:/C:/Users/asus/.m2/repository/org/forgerock/commons/forgerock-util/2.0.0-SNAPSHOT/maven-metadata.xml
file:/C:/Users/asus/.m2/repository/org/forgerock/commons/forgerock-util/2.0.0-SNAPSHOT/forgerock-util-2.0.0-SNAPSHOT.pom
file:/C:/Users/asus/.m2/repository/org/forgerock/commons/forgerock-util/2.0.0-SNAPSHOT/forgerock-util-2.0.0-SNAPSHOT.jar
> Could not find org.forgerock.commons:i18n-slf4j:1.4.2-SNAPSHOT.
Searched in the following locations:
file:/C:/Users/asus/.m2/repository/org/forgerock/commons/i18n-slf4j/1.4.2-SNAPSHOT/maven-metadata.xml
file:/C:/Users/asus/.m2/repository/org/forgerock/commons/i18n-slf4j/1.4.2-SNAPSHOT/i18n-slf4j-1.4.2-SNAPSHOT.pom
file:/C:/Users/asus/.m2/repository/org/forgerock/commons/i18n-slf4j/1.4.2-SNAPSHOT/i18n-slf4j-1.4.2-SNAPSHOT.jar
Required by:
project :web/user
解决方案：
提供org.springframework.boot:spring-boot-starter-data-jpa:2.0.4.RELEASE的依赖压缩包forgerock.zip，在本地.m2\repository\org解压，解决代码仓库拉取不到的问题。
please see https://github.com/WeBankFinTech/Qualitis/releases 0.9.1
1.qualitis安装部署
2.接入linkis文档
3.接入工作流指南
4.第三方系统指南
新建hadoop用户,绑定角色登录
-----------------------------------------------------------
--------linux安装python-2.7.5 和numpy和pandas-----------
https://blog.csdn.net/Michael177/article/details/123297824
进入解压后的文件夹：cd pandas-0.16.2
安装pandas：python setup.py install
验证安装成功：
先离开pandas的源文件夹（否则import时会报错）：cd ..
启动python：python
import pandas as pds
python -m pip install matplotlib
-------------------------------------------------------------
===========flume===============================
IP服务用户密码
192.168.2.226:8080 Spark Master at spark://dss-alone:7077
192.168.2.226:8081 Spark Worker at 192.168.2.226:38927
192.168.2.226:8082 Spark Master at spark://dss-alone:7078
192.168.2.226:8083Spark Worker at 192.168.2.226:39665
192.168.2.226:9600 dss-mg-eureka
#192.168.2.226:8085 dss web hadoophadoop
#192.168.2.226:8084exchangisweb
#192.168.2.226:12345/dolphinscheduleweb hadoop/adminhadoop123/dolphinschedule123
#192.168.2.226:8086 Schedulerweb hadoophadoop
#192.168.2.226:8089/dss/visualis/visualis
#192.168.2.226:9088/stream web
#192.168.2.226:8072 dataeaseweb
#192.168.2.226:9527/index.html dataxwebadmin123456
192.168.2.226:8087暂未使用
192.168.2.226:8088yarn
192.168.2.226:8090qualitisweb
192.168.2.226:50070hdfs
192.168.2.226:18080/ spark History Server
192.168.2.226:8091/ flink web
192.168.2.226:8092/ flink History Server
14.组件集成地址（AppConn 插件安装）
https://github.com/WeBankFinTech/DataSphereStudio-Doc/tree/main/zh_CN
15.所有组件地址
https://github.com/orgs/WeBankFinTech/repositories?type=all
7.日志说明
dss路径下
dss-apiservice-server.out
dss-datapipe-server.out
dss-flow-execution-server.out
dss-framework-orchestrator-server.out
dss-framework-project-server.out
dss-workflow-server.out
linkis路径下
linkis-cg-engineconnmanager.out
linkis-cg-engineplugin.out
linkis-cg-entrance.out
linkis-cg-linkismanager.out
linkis-mg-eureka.out
linkis-mg-gateway.out
linkis-ps-cs.out
linkis-ps-publicservice.out
----------------------------------------------------------------------------------------
Begin to check dss-data-api-server
Is local execution:sh /opt/module/dss/dss/sbin/dss-daemon.sh status dss-data-api-server
server dss-data-api-server is stopped
docker export -o 容器导出文件(格式为tar压缩文件) 容器ID或容器名称
或
docker export 容器ID或容器名称 > 容器导出文件(格式为tar压缩文件)
示例：
docker export -o $(pwd)/newtomcat.tar mytomcat
或
docker export mytomcat > $(pwd)/newtomcat.tar
------------------------------------------------------------------------------------------
LINKIS-CG-ENGINECONNMANAGER 引擎管理服务
LINKIS-CG-ENGINEPLUGIN 引擎插件管理服务
LINKIS-CG-ENTRANCE 计算治理入口服务
LINKIS-CG-LINKISMANAGER 计算治理管理服务
LINKIS-MG-EUREKA 微服务注册中心服务
LINKIS-MG-GATEWAY 网关服务
LINKIS-PS-CS 上下文服务
LINKIS-PS-PUBLICSERVICE 公共服务
LINKIS-CG-ENGINECONN 有任务running的时候才出现
ApplicationAMIsAvailability ZonesStatus
DSS-APISERVICE-SERVERn/a (1)(1)UP (1) - dss-alone:dss-apiservice-server:9206
DSS-FLOW-ENTRANCEn/a (1)(1)UP (1) - dss-alone:dss-flow-entrance:9006
DSS-FRAMEWORK-ORCHESTRATOR-SERVER-DEVn/a (1)(1)UP (1) - dss-alone:dss-framework-orchestrator-server-dev:9003
DSS-FRAMEWORK-PROJECT-SERVERn/a (1)(1)UP (1) - dss-alone:dss-framework-project-server:9202
DSS-GUIDE-SERVERn/a (1)(1)UP (1) - dss-alone:dss-guide-server:9210
DSS-SCRIPTIS-SERVERn/a (1)(1)UP (1) - dss-alone:dss-scriptis-server:9008
DSS-WORKFLOW-SERVER-DEVn/a (1)(1)UP (1) - dss-alone:dss-workflow-server-dev:9005
LINKIS-CG-ENGINECONNFMANAGERn/a (1)(1)UP (1) - dss-alone:linkis-cg-engineconnmanager:9102
LINKIS-CG-ENGINEPLUGINn/a (1)(1)UP (1) - dss-alone:linkis-cg-engineplugin:9103
LINKIS-CG-ENTRANCEn/a (1)(1)UP (1) - dss-alone:linkis-cg-entrance:9104
LINKIS-CG-LINKISMANAGERn/a (1)(1)UP (1) - dss-alone:linkis-cg-linkismanager:9101
LINKIS-MG-EUREKAn/a (1)(1)UP (1) - dss-alone:linkis-mg-eureka:9600
LINKIS-MG-GATEWAYn/a (1)(1)UP (1) - dss-alone:linkis-mg-gateway:9001
LINKIS-PS-CSn/a (1)(1)UP (1) - dss-alone:linkis-ps-cs:9108
LINKIS-PS-DATA-SOURCE-MANAGERn/a (1)(1)UP (1) - dss-alone:linkis-ps-data-source-manager:9109
LINKIS-PS-METADATAMANAGERn/a (1)(1)UP (1) - dss-alone:linkis-ps-metadatamanager:9110
LINKIS-PS-PUBLICSERVICE
扫一扫
427
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
