关于Kedro的资料整理

Kedro介绍

kedro是一款开源的Python框架，通过提供统一的项目模板，数据抽象，配置和管道组装，用于对机器学习任务进行规范化、模块化、流水线化的开发、管理和控制。

Kedro的优势

就机器学习来说，相较而言，传统NoteBooke更适用于研究开发与测试，而Kedro更适用于生产环境对项目进行流程化管理与拓展。

Kedro的优势主要体现在以下几个方面：

高复用性

pass

高拓展性

pass

提高代码规范性与可维护性

pass

解决传统notebook一次性脚本和胶水代码的问题

pass

配置Kedro环境

环境要求

• Kedro支持macOS，Linux和Windows（7 / 8 / 10和Windows Server 2016
  +）。如果您在这些平台上遇到任何问题，请查看常见问题，GitHub讨论或Discord服务器。
• 要使用Kedro，我们强烈建议您下载并安装Anaconda（Python 3.x版本）。
• 如果您使用 PySpark，则还必须安装 Java。如果您是 Windows 用户，则需要管理员权限才能完成安装。

虚拟环境

Python虚拟环境的主要目的是为Python项目创建一个隔离的环境，使其拥有自己的依赖项，而不管其他项目如何。我们建议您为创建的每个新 Kedro 项目创建一个新的虚拟环境。

根据你首选的Python安装，您可以创建虚拟环境来使用Kedro，如下所示：

• 如果使用conda的python环境，可以使用与Anaconda捆绑在一起的软件包和环境管理器程序生成虚拟环境，参照Anaconda创建虚拟环境。
• 若使用原生的python环境，建议使用venv或pipenv，参照Python虚拟环境。

安装

要从Python包索引（PyPI）安装Kedro，只需运行：

• 原生python环境使用：pip install kedro
• Conda环境使用：conda install -c conda-forge kedro