Shifu: 数据科学工作流自动化工具

Shifu: 数据科学工作流自动化工具

shifuKubernetes-native Industrial Edge项目地址:https://gitcode.com/gh_mirrors/sh/shifu

1. 项目介绍

Shifu 是一个用于数据科学团队的开源自动化工具，旨在简化机器学习模型的开发、训练和部署流程。该项目由 Edgenesis 开发并维护，其核心功能包括特征工程、模型选择、模型评估以及持续集成。Shifu 提供命令行界面（CLI）来帮助用户更高效地管理他们的数据科学项目。

2. 项目快速启动

安装

首先，确保你的系统已经安装了 Python 和 Git。然后，通过 pip 安装 Shifu：

pip install git+https://github.com/Edgenesis/shifu.git

创建新项目

创建一个新的 Shifu 工作目录并初始化项目：

mkdir my_shifu_project
cd my_shifu_project
shifu init

配置数据源

编辑 config.json 文件，提供数据集路径、目标变量和其他相关设置。

{
  "data": {
    "train": "./data/train.csv",
    "test": "./data/test.csv"
  },
  "target": "target_column"
}

运行特征工程和模型训练

运行以下命令以执行特征工程和模型训练：

shifu build -all

部署模型

一旦模型训练完成，可以将其部署到生产环境：

shifu deploy

3. 应用案例和最佳实践

• 使用 Shifu 的持续集成功能，可以在每次代码提交时自动运行测试和模型更新。
• 利用 Shifu 的内置评估指标，优化模型性能，并对比不同超参数组合的结果。
• 将 Shifu 与 Jupyter Notebook 或其他交互式环境结合，实现数据探索和实验过程的可视化。

4. 典型生态项目

Shifu 可与其他开源项目良好协作，例如：

• Docker：使用 Docker 封装 Shifu 环境，便于跨平台部署和版本控制。
• Kubernetes：配合 Kubernetes 执行大规模分布式训练任务。
• MLflow：利用 MLflow 追踪模型训练结果和元数据。
• GitLab/CircleCI：与 CI/CD 工具集成，实现自动化构建和测试流程。

通过这些工具的结合，Shifu 能够构建起完整的数据科学工作流水线，提高效率并促进协作。

shifuKubernetes-native Industrial Edge项目地址:https://gitcode.com/gh_mirrors/sh/shifu