关于Kedro的资料整理
Kedro介绍
kedro是一款开源的Python框架,通过提供统一的项目模板,数据抽象,配置和管道组装,用于对机器学习任务进行规范化、模块化、流水线化的开发、管理和控制。
Kedro的优势
就机器学习来说,相较而言,传统NoteBooke更适用于研究开发与测试,而Kedro更适用于生产环境对项目进行流程化管理与拓展。
Kedro的优势主要体现在以下几个方面:
高复用性
pass
高拓展性
pass
提高代码规范性与可维护性
pass
解决传统notebook一次性脚本和胶水代码的问题
pass
配置Kedro环境
环境要求
- Kedro支持macOS,Linux和Windows(7 / 8 / 10和Windows Server 2016
+)。如果您在这些平台上遇到任何问题,请查看常见问题,GitHub讨论或Discord服务器。 - 要使用Kedro,我们强烈建议您下载并安装Anaconda(Python 3.x版本)。
- 如果您使用 PySpark,则还必须安装 Java。如果您是 Windows 用户,则需要管理员权限才能完成安装。
虚拟环境
Python虚拟环境的主要目的是为Python项目创建一个隔离的环境,使其拥有自己的依赖项,而不管其他项目如何。我们建议您为创建的每个新 Kedro 项目创建一个新的虚拟环境。
根据你首选的Python安装,您可以创建虚拟环境来使用Kedro,如下所示:
- 如果使用conda的python环境,可以使用与Anaconda捆绑在一起的软件包和环境管理器程序生成虚拟环境,参照Anaconda创建虚拟环境。
- 若使用原生的python环境,建议使用venv或pipenv,参照Python虚拟环境。
安装
要从Python包索引(PyPI)安装Kedro,只需运行:
- 原生python环境使用:
pip install kedro
- Conda环境使用:
conda install -c conda-forge kedro