管理和使用 LSF Data Manager

管理和使用 LSF Data Manager ，使应用程序能够访问它们所需要的数据，以不受阻碍地完成与应用程序相关的数据位置的计算。 LSF Data Manager 通过尽可能将所需数据文件登台到应用程序来解决数据局部性问题。 您可以将输入数据从外部源存储库登台到集群执行主机，并在作业完成后将输出数据异步登台到外部目标存储库。

IBM Spectrum LSF Data Manager

当需要大量数据才能完成计算时，您的应用程序最好不受阻碍地访问与应用程序执行环境相关的数据位置所要求的数据。 LSF Data Manager 通过将所需数据 登台 以尽可能接近应用程序站点来解决数据局部性问题。

许多应用在几个领域需要大量数据: 用于工业制造的流体动力学模型，用于石油和天然气勘探的地震感官数据，用于生命科学的基因序列等。 将这些大型数据集尽可能靠近应用程序运行时环境，对于保持计算资源的最佳利用率至关重要。

无论您是在单个集群中运行这些数据密集型应用程序，还是要在地理上分离的集群之间共享数据和计算资源， LSF Data Manager 都提供了以下关键功能。

 - 输入数据可以从外部源存储库登台到集群执行主机可访问的高速缓存。 
 - 在作业完成后，将从高速缓存异步 (无依赖) 暂存输出数据。
 - 数据传输与作业分配分开运行，这意味着更多作业可以在等待大型数据传输时请求数据而无需消耗资源。 
 - 远程执行集群选择和集群亲缘关系基于 IBM® Spectrum LSF 多集群功能 环境中的数据可用性。 LSF Data Manager 将所需数据传输到作业转发到的集群。

LSF Data Manager 的工作方式

每个共享登台区域的 LSF 集群也会与同一个 LSF 数据管理器实例进行通信。 集群会查询数据管理器以获取数据文件的可用性。

共享登台区域的每个 LSF 集群也会与同一 LSF 数据管理器实例通信。 集群会查询数据管理器以获取数据文件的可用性。

如果这些文件不在高速缓存中，那么 LSF 数据管理器会对它们进行登台，并在作业的请求数据就绪时通知集群。 对文件进行登台后，集群可以通过查阅 LSF 数据管理器存储在登台区域中的数据文件信息，从登台区域中检索这些文件。

 - 单集群实现

LSF Data Manager的典型单集群实现。 由数据源， LSF 管理 主机，数据管理器主机， I/O 主机和执行主机组成。 每个组件协同工作以完成登台数据和提交具有数据需求的作业的任务。

 - LSF 多集群功能实现
 
LSF Data Manager 的典型 LSF 多集群功能 实现具有不是仅远程队列的队列配置。 每个组件协同工作以完成登台数据和提交具有数据需求的作业的任务。

使用 IBM Spectrum LSF Data Manager

向 IBM Spectrum LSF Data Manager提交，控制和监视具有数据需求的作业。

使用以下命令来提交和管理具有数据需求的作业。

bsub
请求在调度作业之前对其暂存文件。

bmod
修改已提交作业的数据需求请求。

bstage in
在作业执行期间从登台区域获取请求的文件。

bstage out
请求将作业执行环境中的文件返回到登台区域或提交环境。

bdata
查询登台区域高速缓存中文件和数据标记的状态，并管理与作业关联的数据标记。

bjobs
查询具有数据需求的作业的状态。

bhist
查看有关具有数据需求的作业的历史信息。

提交和管理具有数据需求的作业

指定数据需求，并通过 bsub -data 命令在作业中使用这些数据需求。 创建并使用数据规范文件以简化作业提交。 使用 bstage in命令将所需数据从数据源存储库登台。 使用 bstage out 命令将作业输出数据移回到数据源存储库。 使用数据标记来构建数据需求工作流，并管理标记名称空间。

查询具有数据需求的作业

使用 bdata cache 和 bdata tags list 命令通过查询数据高速缓存中的信息来查找有关具有数据需求的作业的信息。 要使用 bdata 命令查询 LSF 数据管理器，您必须登录到可以与本地 LSF 数据管理器守护程序进行通信的集群。 使用 bjobs -data 和 bhist -data 命令可查看有关具有数据需求的作业的详细信息。

管理 IBM Spectrum LSF Data Manager

IBM Spectrum LSF Data Manager 的管理员是执行特定于 LSF Data Manager的任务的 LSF 管理员。

管理 dmd 守护程序

LSF 数据管理器主机是配置为运行 LSF 数据管理器守护程序的 LSF 服务器主机。 dmd 守护程序与它所服务的集群通信，并管理数据需求的源存储库与具有数据需求的作业的执行环境之间的数据传输。

管理登台区域 (高速缓存)

登台区域 (或 数据高速缓存) 是数据传输 (I/O) 节点上的受管文件系统，或者是访问它的集群计算节点本地的已安装目录。 登台区域存储为执行作业而要登台的输入文件或作业完成后要登台到源存储库的作业输出文件。 每个登台区域由单个 LSF 数据管理器管理。 每个集群定义一个 LSF 数据管理器及其管理的登台区域。

管理数据传输

配置和管理数据传输节点以及为其提供服务的队列。 所有数据传输都作为 LSF 作业进行管理。 您可以控制并发传输的数量以及数据传输队列中传输的优先级。 例如，您可以在数据传输队列中的用户之间配置公平共享。

数据规范文件

数据规范文件是一个文本文件，用于通过 LSF Data Manager一次暂存大量数据需求文件。 数据规范文件中的每行指定在提交和调度作业之前要传输到登台区域的数据标记的名称或源文件的路径。 标记或路径可以指向文件或目录。

配置 IBM Spectrum LSF Data Manager 以使用 IBM Spectrum LSF 多集群功能

LSF Data Manager 与 LSF 多集群功能 中的现有转发策略集成，以确保数据需求的可用性优先于插槽的可用性。