CUDA--内存访问越界或无效的索引操作解决办法

报错信息

File "D:\anaconda3\envs\HCAVE2\lib\site-packages\torch\nn\utils\rnn.py", line 258, in pack_padded_sequence sorted_indices = sorted_indices.to(input.device) RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with TORCH_USE_CUDA_DSA to enable device-side assertions.

解决方法

这个错误消息表明在运行CUDA代码时触发了设备端的断言错误。这通常是由于内存访问越界或无效的索引操作引起的。在上面的情况中，错误可能出现在使用pack_padded_sequence时，由于输入的长度或索引超出了预期范围，导致了CUDA断言失败。

要解决这个问题，可以尝试以下步骤：

1. 检查输入数据的长度和有效性：

• 确保输入序列的长度没有超出预期范围。
• 确保所有的输入张量（如c_ids, q_ids等）的索引值都在合法范围内。例如，输入的单词ID应在词汇表的范围内。

2. 启用CUDA的同步错误报告（CUDA_LAUNCH_BLOCKING）：

• 可以在运行脚本时设置环境变量CUDA_LAUNCH_BLOCKING=1，这样CUDA会同步执行命令，有助于定位确切的错误位置。

CUDA_LAUNCH_BLOCKING=1 python translate.py --data_file ...

这会让错误信息更准确地指向问题的源头。

3. 启用设备端断言：

• 按照错误提示，编译时可以启用设备端断言（TORCH_USE_CUDA_DSA=1），这样可以在设备端捕获更多细节的错误信息。需要注意的是，这可能需要重新编译PyTorch。

4. 排查模型中的索引操作：

• 仔细检查所有涉及索引操作的地方，如embedding层的调用，特别是在c_ids, q_ids等输入张量上是否有超出范围的索引。

5. 检查模型的输入顺序：

• 确保在使用pack_padded_sequence时，输入序列已经按长度排序，且输入的input_lengths与inputs匹配。

6. 调试小批量输入：

• 如果错误难以定位，可以尝试用一个很小的输入批次进行调试，逐步缩小问题的范围。

通过这些步骤，应该能够更好地理解问题的根源并进行修复。如果仍然遇到困难，建议在调试过程中逐步简化代码，查看最小化输入下是否能复现问题，并通过逐步添加复杂性来找到导致问题的具体原因。