Mage AI - 转换和集成数据 | 集成笔记本的灵活性与模块化代码的严谨性

本文链接：https://blog.csdn.net/lovechris00/article/details/146727487

Mage 是一个用于转换和集成数据的混合框架。它结合了两种世界的最佳之处：笔记本的灵活性与模块化代码的严谨性。

在这里插入图片描述

此外，还有数百项企业级功能、基础设施创新和神奇惊喜。

Mage Pro
完全托管的数据集成和转换平台。
https://cloud.mage.ai/sign-up
Mage OSS
自托管。用于构建、运行和管理数据管道的系统。
https://github.com/mage-ai/mage-ai?tab=readme-ov-file#its-magic

推荐的安装最新版本 Mage 的方法是使用 Docker，以下命令：

docker pull mageai/mageai:latest

您还可以使用pip或conda安装Mage，尽管在没有适当环境的情况下，这可能会引起依赖问题。

pip install mage-ai

conda install -c conda-forge mage-ai

正在寻找帮助？最快的方式是查看我们的文档这里。
寻找快速示例？在您的浏览器中打开一个 demo 项目，或查看我们的指南。

构建并运行我们的数据管道，请使用我们的 演示应用。

警告：在线演示对所有人公开，请勿保存任何敏感信息（例如密码、机密等）。


🎶	编排	安排和管理数据管道，具有可观察性。
📓	笔记本	用于编写数据管道的交互式 Python、SQL 和 R 编辑器。
🏗️	数据集成	从第三方源同步数据到您的内部目的地。
🚰	流式管道	摄入和转换实时数据。
❎	dbt	使用 Mage 构建、运行和管理您的 dbt 模型。

一个跨越3个文件定义的示例数据管道

@data_loader
def load_csv_from_file() -> pl.DataFrame:
    return pl.read_csv('default_repo/titanic.csv')

@transformer
def select_columns_from_df(df: pl.DataFrame, *args) -> pl.DataFrame:
  return df[['Age', 'Fare', 'Survived']]

@data_exporter
def export_titanic_data_to_disk(df: pl.DataFrame) -> None:
    df.to_csv('default_repo/titanic_transformed.csv')

2025-03-30（六）

Mage AI - 转换和集成数据 | 集成 笔记本的灵活性 与 模块化代码的严谨性