Apache Heron 安装与使用指南

Apache Heron 安装与使用指南

incubator-heronApache Heron (Incubating) is a realtime, distributed, fault-tolerant stream processing engine from Twitter项目地址:https://gitcode.com/gh_mirrors/in/incubator-heron

目录结构及介绍

在克隆或下载了 apache/incubator-heron 项目后，你会看到如下的主要目录结构：

根目录

• heron : 包含 Heron 主要代码库。
• heronpy : Heron 的 Python API 实现。
• scripts : 脚本集合用于构建和运行 Heron。

heron 目录

• src: 源代码的主要位置，包括实现和测试代码。
• proto: 存放 .proto 文件的地方，用于定义协议缓冲区消息格式。
• bin: 执行脚本的存放地。

scripts 目录

• build.sh: 构建项目。
• run-example.sh: 运行示例。

启动文件介绍

通常情况下，Heron 提供了一系列 shell 脚本来启动不同的组件和服务。在 scripts 目录中可以找到这些启动脚本，其中最重要的是：

• start-heron-cluster.sh: 此脚本用于初始化并启动整个集群环境，这包括 ZooKeeper 和 Heron 所需的所有服务。对于本地开发或测试环境，存在一个同名但参数不同的版本。

• heron-executor.sh: 这个脚本负责执行 Heron 任务实例，通常由 Hadoop 或 YARN 等资源管理器调用来启动拓扑。

配置文件介绍

Heron 使用多种类型的配置文件来调整其行为。以下是主要的配置文件类型及其位置：

conf/heron-conf.yaml

这是主配置文件，包含了运行时、打包和部署等各个阶段的参数设置。在这个文件中，你可以修改诸如日志级别、网络接口设置以及拓扑策略等参数。

conf/stmgr-config.yaml

此配置文件主要用于 Storm Manager（STM）的定制化，STM是协调任务状态迁移的关键组件之一。

conf/topology.yaml

该文件描述了一个具体的拓扑结构细节，比如输入源、转换函数和输出目标等。当你想要创建一个新的流处理作业或者修改现有拓扑的行为时，这个文件至关重要。

这些配置文件通常位于项目根目录下 conf 文件夹内，也可自定义路径，在相应的启动脚本中指明配置文件的位置。通过编辑这些文件，你可以微调你的Herons系统以适应特定的需求场景。例如，可以通过更改 worker 并发度或选择不同序列化机制来优化性能。确保在任何重要配置更改之后重新启动相关服务或组件。

以上就是Apache Heron项目的基本使用指南，更多详细信息请参考官方文档。

incubator-heronApache Heron (Incubating) is a realtime, distributed, fault-tolerant stream processing engine from Twitter项目地址:https://gitcode.com/gh_mirrors/in/incubator-heron