ngods-stocks 项目教程

ngods-stocks 项目教程

ngods-stocksNew Generation Opensource Data Stack Demo项目地址:https://gitcode.com/gh_mirrors/ng/ngods-stocks

1. 项目的目录结构及介绍

ngods-stocks/
├── bin/
├── certs/
├── conf/
├── data/
│   └── spark/
│       └── notebooks/
├── img/
├── metabase/
├── projects/
├── trino/
├── .gitignore
├── LICENSE
├── README.md
├── docker-compose.arm64.yml
├── docker-compose.no-datahub.yml
├── docker-compose.x86.yml
└── docker-compose.yml

目录结构介绍

• bin/: 存放项目的可执行文件或脚本。
• certs/: 存放项目的证书文件。
• conf/: 存放项目的配置文件。
• data/spark/notebooks/: 存放Spark相关的Jupyter Notebook文件。
• img/: 存放项目的图片资源。
• metabase/: 存放Metabase相关的配置和数据。
• projects/: 存放项目的其他子项目或模块。
• trino/: 存放Trino相关的配置和数据。
• .gitignore: Git忽略文件配置。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的介绍和使用说明。
• docker-compose.arm64.yml: 适用于ARM架构的Docker Compose配置文件。
• docker-compose.no-datahub.yml: 不包含DataHub的Docker Compose配置文件。
• docker-compose.x86.yml: 适用于x86架构的Docker Compose配置文件。
• docker-compose.yml: 默认的Docker Compose配置文件。

2. 项目的启动文件介绍

项目的启动主要依赖于docker-compose.yml文件。该文件定义了项目的各个服务及其配置。

docker-compose.yml 文件介绍

version: '3.7'
services:
  # 定义各个服务的配置
  spark:
    image: apache/spark:3.1.2
    # 其他配置项...
  trino:
    image: trinodb/trino:359
    # 其他配置项...
  metabase:
    image: metabase/metabase:v0.40.1
    # 其他配置项...
  # 其他服务...

启动命令

cd ngods-stocks
docker-compose up -d

该命令会启动所有定义在docker-compose.yml中的服务，并在后台运行。

3. 项目的配置文件介绍

项目的配置文件主要存放在conf/目录下，每个服务的配置文件可能会有所不同。

conf/ 目录介绍

conf/
├── spark/
│   ├── spark-defaults.conf
│   └── spark-env.sh
├── trino/
│   ├── config.properties
│   └── catalog/
│       └── iceberg.properties
└── metabase/
    └── metabase.conf

配置文件介绍

• spark-defaults.conf: Spark的默认配置文件，定义了Spark运行时的各种参数。
• spark-env.sh: Spark的环境变量配置文件。
• config.properties: Trino的配置文件，定义了Trino的运行参数。
• iceberg.properties: Trino中Iceberg的配置文件，定义了Iceberg的存储和查询参数。
• metabase.conf: Metabase的配置文件，定义了Metabase的运行参数和数据库连接信息。

通过这些配置文件，用户可以自定义项目的运行环境和行为。

ngods-stocksNew Generation Opensource Data Stack Demo项目地址:https://gitcode.com/gh_mirrors/ng/ngods-stocks