pytorch CTCLOSS 降不下來的bug

最新推荐文章于 2024-08-08 04:15:00 发布

日作诗歌三千首

最新推荐文章于 2024-08-08 04:15:00 发布

阅读量2k

点赞数

本文链接：https://blog.csdn.net/u012483097/article/details/106351305

版权

ctc_loss = nn.CTCLoss()
log_probs = torch.randn(50, 16, 20).log_softmax(2)
targets = torch.randint(1, 20, (16, 30), dtype=torch.long)
input_lengths = torch.full((16,), 50, dtype=torch.long)
target_lengths = torch.randint(10,30,(16,), dtype=torch.long)
loss = ctc_loss(log_probs.cpu(), targets, input_lengths, target_lengths)
loss.backward()

切記 loss = ctc_loss(log_probs.cpu(), targets, input_lengths, target_lengths)，其中模型輸出的log_probs一定要放在cpu上，如果放在cuda上，那麼loss訓練過程中會下降的特別慢甚至不下降。