Apache Fluo YARN 教程

Apache Fluo YARN 教程

fluo-yarnApache Fluo Yarn项目地址:https://gitcode.com/gh_mirrors/fl/fluo-yarn

Apache Fluo 是一个实时的数据分析系统，而 fluo-yarn 项目是其在 Hadoop YARN 上运行的启动器。本教程将指导您了解该项目的目录结构、启动文件以及配置文件。

1. 项目目录结构及介绍

fluo-yarn 的目录结构大致如下：

fluo-yarn/
├── bin/        # 包含可执行脚本，如 fluo-yarn 脚本
├── conf/       # 存放配置文件
│   ├── fluo-yarn-env.sh    # 配置环境变量
│   ├── fluo-yarn.properties  # 配置YARN应用参数
│   └── log4j.properties     # 日志配置
├── lib/         # 库文件夹，包含了Fluo YARN运行所需的JAR包
└── ...          # 其他辅助文件和源代码

• bin/: 包含管理Fluo YARN应用的命令行脚本。
• conf/: 提供了启动和配置Fluo应用程序所需的关键文件。
• lib/: 存储所有必需的库文件，包括Fluo YARN自身和其他依赖项。

2. 项目启动文件介绍

主要的启动文件是 bin/fluo-yarn 脚本。这是一个用于管理和启动Fluo应用在YARN上的shell脚本。通过以下方式使用它来启动你的Fluo应用：

$ bin/fluo-yarn start myapp conf/fluo-yarn.properties

此命令会根据给定的配置文件初始化和启动YARN上的Fluo应用，并打印出YARN应用ID以便后续跟踪和管理。

3. 项目配置文件介绍

3.1 fluo-yarn-env.sh

这个文件用来设置Fluo YARN的环境变量，特别是FLUO_HOME指向Fluo YARN安装路径。如果环境变量未设置，你需要在这里指定。此外，还可以自定义连接属性FLUO_CONN_PROPS。

3.2 fluo-yarn.properties

这是启动Fluo应用在YARN上时最重要的配置文件。它涵盖了以下关键设置：

• YARN资源管理器的hostname
• Oracle和Worker实例的数量
• 每个Oracle/Worker的最大内存使用量

如果你需要管理多个Fluo应用，可以复制此文件并为每个应用进行单独配置。

3.3 log4j.properties

该文件用于配置日志级别和输出目的地，帮助你在运行时监控和调试Fluo YARN应用的日志。

完成上述配置后，你可以使用fluo-yarn脚本来启动、管理和监控你的Fluo应用程序。记住，确保所有的配置都符合你的Hadoop集群和Fluo应用的需求。

fluo-yarnApache Fluo Yarn项目地址:https://gitcode.com/gh_mirrors/fl/fluo-yarn