Apache Wayang (孵化中)：跨平台数据处理的未来

廉霓津Max

于 2024-09-02 09:55:25 发布

阅读量652

点赞数 15

本文链接：https://blog.csdn.net/gitblog_00943/article/details/141811375

版权

Apache Wayang (孵化中)：跨平台数据处理的未来

incubator-wayang7. Apache Incubator-wayang: Apache Incubator-wayang 是一个用于数据流处理的项目。它提供了一个用于数据流处理的库和工具。适合用于在应用程序中处理数据流处理。项目地址:https://gitcode.com/gh_mirrors/inc/incubator-wayang

项目介绍

Apache Wayang（孵化中）是一个开创性的开源跨平台数据处理系统，它能够透明且无缝地集成多个执行引擎，并利用它们来执行单一任务。与传统提供单一专用执行引擎的数据处理系统不同，Wayang允许用户使用其API指定任何数据处理应用程序，然后Wayang将选择最适合该应用程序的数据处理平台（如Postgres或Apache Spark），并进行执行，从而隐藏不同平台特定的API并协调跨平台通信。

项目技术分析

Wayang的核心优势在于其跨平台能力，支持多种处理平台，包括Java Streams、Apache Spark、Apache Flink、Apache Giraph、GraphChi、Postgres和SQLite。此外，Wayang提供了多种API，如Java原生、类似Scala的Java API、Scala和SQL（目前支持简单的选择-投影查询），使得开发人员可以根据需求选择最合适的接口。