DataSphere Studio 开源项目安装与使用手册

DataSphere Studio 开源项目安装与使用手册

项目地址:https://gitcode.com/gh_mirrors/dat/DataSphereStudio


项目目录结构及介绍

DataSphere Studio 是由 WeBank 开发的数据应用一站式开发管理门户,其开源版本可在 GitHub 获取。下面是对该项目基本目录结构的解析:

.
├── dss-orchestrator           # 数据应用编排相关组件
├── dss-server                 # 核心服务运行模块
├── dss-standard               # 标准功能实现模块
├── images                     # 项目使用的图片资源
├── k8s                        # 针对 Kubernetes 部署的相关配置文件
├── plugins                    # 扩展插件目录,包括各类AppConn插件
├── sbin                       # 启动和服务控制脚本
├── web                        # 前端资源目录
├── gitattributes              # Git属性配置文件
├── gitignore                  # 忽略文件配置
├── LICENSE                    # 许可证文件
├── README-ZH.md                # 中文版项目说明文档
├── README.md                  # 英文版项目说明文档
├── package-lock.json          # NPM依赖锁定文件
├── pom.xml                    # Maven构建配置文件

每个模块负责不同的职责,例如 dss-orchestrator 负责数据流程的编排,dss-server 包含核心服务逻辑,而 plugins 则存放用于扩展功能的各种插件。


项目的启动文件介绍

DataSphere Studio 的启动通常涉及到服务端的多个组件。虽然具体脚本可能因版本不同有所变化,一般会在 sbin 目录下找到启动脚本,例如可能会有 start-dss.sh 或相似命名的脚本,它会处理启动时必要的环境设置和依赖服务的初始化。实际操作前,需确保所有必要的Java环境和Maven或Gradle构建工具已经正确安装,并且项目已被正确编译打包。

# 示例启动命令(根据实际情况调整)
cd path/to/DataSphereStudio
./sbin/start-dss.sh

项目的配置文件介绍

DataSphere Studio 的配置主要位于各个子模块下的配置文件中,以及可能存在的顶层配置目录或文件。以常见的Java应用为例,配置文件可能包括但不限于 application.propertiesapplication.yml 文件,这些文件定义了服务端口、数据库连接、以及其他运行时参数。

  • 全局配置:有时可能在 dss-server 或项目根目录下有一个主配置文件,设定系统级别的配置。
  • 模块特定配置:各个业务模块(如 dss-orchestrator, dss-standard)内也可能有自己的配置文件,来适应各自的服务需求。
  • 数据库配置:涉及数据库交互的部分,将需要配置数据库URL、用户名和密码等信息。
  • 环境变量:部分配置可能通过环境变量设置,尤其是对于部署在容器化环境(如Docker或Kubernetes)中的应用。

示例配置片段(虚构)

# 假设这是application.yml的一部分
server:
  port: 8080 # 服务器监听端口
  
data-source:
  url: jdbc:mysql://localhost:3306/dssdb
  username: root
  password: secret

请注意,实际的配置项和路径应参考项目最新文档或具体的版本说明,因为配置文件的名称、位置及其内部的键值对可能会随着版本迭代而发生变化。在部署前,务必查阅项目最新的官方文档以获取准确的配置指南。

DataSphereStudio DataSphereStudio 项目地址: https://gitcode.com/gh_mirrors/dat/DataSphereStudio

DataSphere Studio(简称DSS)是微众银行自研的一站式数据应用开发管理门户。 基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。 在统一的UI下,DataSphere Studio以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。 DSS通过插拔式的集成框架设计,让用户可以根据需要,简单快速替换DSS已集成的各种功能组件,或新增功能组件。 借助于 Linkis 计算中间件的连接、复用简化能力,DSS天生便具备了金融级高并发、高可用、多租户隔离和资源管控等执行调度能力。 DSS主要特点: 一、一站式、全流程的应用开发管理界面 DSS集成度极高,目前已集成的系统有: 1、数据开发IDE工具——Scriptis 2、数据可视化工具——Visualis(基于宜信Davinci二次开发) 3、数据质量管理工具——Qualitis 4、工作流调度工具——Azkaban DSS插拔式的框架设计模式,允许用户快速替换DSS已集成的各个Web系统。如:将Scriptis替换成Zeppelin,将Azkaban替换成DolphinScheduler。 二、基于Linkis计算中间件,打造独有的AppJoint设计理念 AppJoint,是DSS可以简单快速集成各种上层Web系统的核心概念。 AppJoint——应用关节,定义了一套统一的前后台接入规范,可让外部数据应用系统快速简单地接入,成为DSS数据应用开发中的一环。 DSS通过串联多个AppJoint,编排成一条支持实时执行和定时调度的工作流,用户只需简单拖拽即可完成数据应用的全流程开发。 由于AppJoint对接了Linkis,外部数据应用系统因此具备了资源管控、并发限流、用户资源管理等能力,且允许上下文信息跨系统级共享,彻底告别应用孤岛。 三、Project级管理单元 以Project为管理单元,组织和管理各数据应用系统的业务应用,定义了一套跨数据应用系统的项目协同开发通用标准。 四、已集成的数据应用组件 DSS通过实现多个AppJoint,已集成了丰富多样的各种上层数据应用系统,基本可满足用户的数据开发需求。 用户如果有需要,也可以轻松集成新的数据应用系统,以替换或丰富DSS的数据应用开发流程。 1、DSS的调度能力——Azkaban AppJoint 2、数据开发——Scriptis AppJoint 3、数据可视化——Visualis AppJoint 4、数据质量——Qualitis AppJoint 5、数据发送——Sender AppJoint 6、信号节点——Signal AppJoint 7、功能节点 8、节点扩展
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吉生纯Royal

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值