大数据管理平台 DataWings-引擎管理

集群信息同步或者注册完成后，您需要创建翼MR计算引擎，以便通过DataWings来执行该引擎类型的大数据计算任务。

前提条件

• 已购买独享调度资源组，并确保调度资源组与翼MR集群间网络可连通（在同一VPC下）。

使用限制

• 仅支持使用独享调度资源组在DataWings运行翼MR任务。

页面进入

单击左上方的

图标

，选择全部产品 > 系统管理 > 集群管理 > 引擎管理。

功能说明

新增引擎实例

1、配置引擎基本信息

参数	说明
引擎实例名称	当前引擎在DataWings的名称，用于标识当前引擎的配置信息。
访问模式	简单模式：DataWings用户绑定同一个翼MR集群用户（LDAP用户），所有引擎任务使用同一个集群用户身份提交并执行任务。
集群类型	当前仅支持翼MapReduce集群。
集群场景	支持数据湖场景和数据分析场景。
集群名称	已注册的集群名称，详情请见集群注册。

2、配置资源组信息

资源组名称：已购买的独享调度资源组。

测试连通性：您需要确保调度资源组与集群之间网络是互通的，才能成功创建引擎以及执行引擎任务。

3、配置引擎信息

参数	说明
是否启用Hudi	若您购买的翼MR集群包含Spark-Hudi客户端，您可以选择启用Hudi，启用后在即席查询模块，您可以创建Hudi类型的数据分析任务。
队列	当前引擎可以使用的集群队列列表。
default队列	当前引擎默认使用的队列。
更多队列	支持给不同的产品模块配置任务执行的yarn队列，未配置时将使用全局default队列。支持配置的模块有：数据开发、即席查询、数据质量、数据建模等。
访问身份配置	集群用户（LDAP用户）默认配置为hive用户，您可以重新输入以修改集群用户。

4、默认数据源及数据地图采集器

数据湖引擎：数据湖引擎上线后，系将将为您自动创建Hive数据源及Doris数据源（需在集群注册已配置Doris信息）、元数据采集器（若您购买的版本包含数据地图功能）。

数据分析引擎：数据分析引擎上线后，系统将为您自动创建Doris数据源、元数据采集器（若您购买的版本包含数据地图功能）。

引擎其他操作说明

操作	说明
查看	查看引擎信息。
编辑	编辑引擎信息。
下线	针对已上线状态的引擎，您可以下线当前引擎。 引擎下线后，资源组服务将关闭，您将无法提交任务至当前引擎，已经执行的任务将会执行失败，数据源、元数据采集不受影响。
上线	针对已下线、引擎异常状态的引擎，您可以上线引擎（所有资源组节点或异常节点），上线过程中将启动资源组节点服务。
删除	针对已下线的引擎，且您不再使用当前集群，您可以删除此引擎，引擎删除后，将会自动删除此引擎的相关业务信息， 包括内置数据源、内置元数据采集器、数据建模、数据质量规则等，请谨慎操作。
日志	针对上线、下线流程，您可以查看引擎相关日志。