Apache REEF 深入指南

Apache REEF 深入指南

reefMirror of Apache REEF项目地址:https://gitcode.com/gh_mirrors/reef5/reef

Apache REEF (Resilient Execution Environment for Hadoop) 是一个用于在大规模数据处理框架（如Hadoop和Spark）上开发长期运行服务的库。本教程将帮助您理解其目录结构、启动文件和配置文件。

1. 项目目录结构及介绍

Apache REEF 的源代码目录结构如下：

reef/
├── README.md      # 项目简介
├── NOTICE         # 许可证通知
├── pom.xml        # Maven 构建文件
├── src/
│   ├── main/      # 主要源码
│   │   ├── java/  # Java 代码
│   │   └── resources/ # 资源文件
│   ├── test/     # 测试源码
│   └── assembly/ # 打包相关的脚本和配置
└── ...

• src/main/java: 存放REEF的主要Java代码。
• src/main/resources: 存放应用程序所需的资源文件，如配置文件等。
• src/test: 包含所有单元测试和集成测试的代码。

2. 项目的启动文件介绍

REEF 的启动通常涉及运行其提供的Runners类。例如，如果您想在YARN集群上运行REEF应用，可以使用YarnRunner。具体的启动命令可能类似于以下示例（使用Maven构建系统）：

mvn exec:java -Dexec.mainClass="org.apache.reef.tang.examples.yarn.YarnDriver" \
    -Dexec.args="--file /path/to/config.yaml --reef.yarn.appmaster.memory 1024"

这里的YarnDriver是启动REEF作业的主类，而--file参数指定配置文件的位置，--reef.yarn.appmaster.memory则是设置YARN应用程序管理器的内存大小。

3. 项目的配置文件介绍

REEF 配置文件通常使用Tang框架定义，并以.yaml或.xml格式存储。配置文件包含了REEF作业运行时所需的参数，如服务端口、驱动程序参数以及REEF与底层计算平台交互的设置。

以下是一个简单的config.yaml示例：

 ReeferConf:
   parameter:
     reef.client.submit.timeout.millis: "300000" 
   class: org.apache.reef.bridge.client.OptimusClientConfiguration
   modules:
     - org.apache.reef.bridge.client.OptimusBridgeConfigurationModule
     - org.apache.reef.hadoop.client.HadoopClientConfigurationModule
   parameters:
     reef.event.handler.error.on.failure: true
     reef.yarn.appmaster.environment.JAVA_HOME: "${env:JAVA_HOME}"
     reef.yarn.driver.memory.mb: 512
     reef.yarn.driver.vcores: 1

在这个例子中，ReeferConf是配置的名称，包含了各种参数和模块。parameters部分定义了REEF作业的具体配置项，如超时时间、环境变量和资源分配。modules则指定了额外需要加载的配置模块。

通过了解上述内容，您可以更好地开始使用Apache REEF并根据自己的需求进行定制和部署。记得在实际操作时根据您的具体环境调整相关配置。祝您在REEF开发旅程中一切顺利！

reefMirror of Apache REEF项目地址:https://gitcode.com/gh_mirrors/reef5/reef