Informatica优化 - DTM Buffer Size

最新推荐文章于 2025-03-21 22:09:48 发布

sinat_28472983

最新推荐文章于 2025-03-21 22:09:48 发布

阅读量2.1k

点赞数

分类专栏： Informatica SQL优化

本文链接：https://blog.csdn.net/sinat_28472983/article/details/83178591

版权

缓冲区内存概览

运行会话时，集成服务进程会启动 Data Transformation Manager (DTM)。 DTM 根据会话属性中的“DTM 缓冲区大小”设置在运行时为会话分配缓冲区内存。DTM 根据会话属性的“默认缓冲区块大小”设置中的配置将内存划分为多个缓冲区块。读取器、转换和写入器线程使用缓冲区块将数据从源移至目标。缓冲区块大小应大于源或目标中最大数据行的精度。

集成服务为分区中的每个源和目标至少分配两个缓冲区块。对于 XML 源和目标，缓冲区块数必须至少是源和目标中组数的两倍。具有未规范化列的 XML 读取器和具有循环引用的 XML 架构可能需要其他缓冲区块。

可以通过调整以下会话属性配置缓冲区内存设置：

1. DTM 缓冲区大小：DTM 缓冲区大小指定了集成服务在 DTM 处理会话时使用的缓冲区内存量。在会话属性中的“属性”选项卡上配置 DTM 缓冲区大小。

2. 默认缓冲区块大小：缓冲区块大小指定了用于将数据块从源移至目标的缓冲区内存量。在会话属性中的“配置对象”选项卡上配置缓冲区块大小。集成服务会为缓冲区内存和缓冲区块计算最小内存分配。默认情况下，集成服务为每个块分配 64,000 字节，或分配映射中任何源或目标的最大行大小（取较大者）。如果 DTM 无法为会话分配配置的缓冲区内存量，则会话无法初始化。通常，无需为缓冲区内存分配 1 GB 以上的内存量。

可以手动设置缓冲区大小的值，也可以将会话配置为允许集成服务确定会话所需的缓冲区内存大小。

DTM 进程分配给会话的内存量

默认情况下，集成服务在运行时确定 DTM 缓冲区大小。 Workflow Manager 最少为 DTM 缓冲区内存分配 12 MB。可以指定“自动”或一个数字值。如果您输入 2000，集成服务会将该数字理解为 2000 字节。为值附加 KB、MB 或 GB 可指定其他单位。例如，您可以指定 512MB。

在以下情况中，增大 DTM 缓冲区大小：

1. 会话包含大量字符数据并且您将其配置为以 Unicode 模式运行。将 DTM 缓冲区大小增大到 24MB。

2. 会话包含 n 个分区。将 DTM 缓冲区大小至少增加到具有一个分区的会话的值的 n 倍。

3. 源包含大型二进制对象，并且精度大于所分配的 DTM 缓冲区大小。增大 DTM 缓冲区大小，使会话不会失败。