Apache Wayang 开源项目教程

Apache Wayang 开源项目教程

incubator-wayangApache Wayang(incubating) is the first cross-platform data processing system.项目地址:https://gitcode.com/gh_mirrors/in/incubator-wayang

1. 项目的目录结构及介绍

Apache Wayang 项目的目录结构如下：

incubator-wayang/
├── wayang-api/
├── wayang-commons/
├── wayang-core/
├── wayang-java/
├── wayang-platforms/
│   ├── wayang-graphchi/
│   ├── wayang-giraph/
│   ├── wayang-jdbc/
│   ├── wayang-postgres/
│   ├── wayang-spark/
│   └── wayang-flink/
├── wayang-plugins/
├── wayang-profiler/
├── wayang-python/
├── wayang-scala/
├── wayang-sql/
├── wayang-tests/
├── wayang-tutorials/
├── wayang-website/
├── .gitignore
├── .travis.yml
├── LICENSE
├── NOTICE
├── README.md
└── pom.xml

目录结构介绍

• wayang-api/: 包含 Wayang 的核心 API。
• wayang-commons/: 包含 Wayang 的通用工具和类。
• wayang-core/: 包含 Wayang 的核心实现。
• wayang-java/: 包含 Java 相关的实现。
• wayang-platforms/: 包含不同数据处理平台的实现。
  • wayang-graphchi/: GraphChi 平台的实现。
  • wayang-giraph/: Giraph 平台的实现。
  • wayang-jdbc/: JDBC 平台的实现。
  • wayang-postgres/: PostgreSQL 平台的实现。
  • wayang-spark/: Apache Spark 平台的实现。
  • wayang-flink/: Apache Flink 平台的实现。
• wayang-plugins/: 包含 Wayang 的插件。
• wayang-profiler/: 包含性能分析工具。
• wayang-python/: 包含 Python 相关的实现。
• wayang-scala/: 包含 Scala 相关的实现。
• wayang-sql/: 包含 SQL 相关的实现。
• wayang-tests/: 包含测试代码。
• wayang-tutorials/: 包含教程和示例代码。
• wayang-website/: 包含项目网站的代码。
• .gitignore: Git 忽略文件。
• .travis.yml: Travis CI 配置文件。
• LICENSE: 项目许可证。
• NOTICE: 项目通知。
• README.md: 项目说明文档。
• pom.xml: Maven 项目配置文件。

2. 项目的启动文件介绍

Wayang 项目的启动文件主要位于 wayang-core/ 目录下。主要的启动类是 org.apache.wayang.core.api.WayangContext。

启动文件介绍

• WayangContext.java: 这是 Wayang 的主启动类，用于初始化 Wayang 上下文并启动数据处理任务。

3. 项目的配置文件介绍

Wayang 项目的配置文件主要位于 wayang-core/src/main/resources/ 目录下。主要的配置文件是 wayang.properties。

配置文件介绍

• wayang.properties: 这是 Wayang 的主配置文件，包含各种配置项，如平台配置、优化配置等。

# 平台配置
wayang.basic.job.name=Wayang Job
wayang.basic.job.description=Wayang Job Description

# 优化配置
wayang.optimizer.strategy=org.apache.wayang.core.optimizer.strategies.LazyOptimizer

# 平台特定配置
wayang.platform.spark.master=local[*]
wayang.platform.flink.parallelism=4

以上是 Apache Wayang 开源项目的目录结构、启动文件和配置文件的介绍。希望这份教程能帮助你更好地理解和使用 Wayang 项目。

incubator-wayangApache Wayang(incubating) is the first cross-platform data processing system.项目地址:https://gitcode.com/gh_mirrors/in/incubator-wayang