关于pytorch自带的CTCloss使用时的注意事项

最新推荐文章于 2023-02-27 16:43:08 发布
最新推荐文章于 2023-02-27 16:43:08 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 模型框架学习 文章标签： pytorch 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36276587/article/details/117416054
版权
本文讲述了在从百度CTC Loss切换到PyTorch自带的CTC Loss时遇到的问题，主要集中在log_softmax操作的差异。解决办法是在网络输出层添加.log_softmax，以确保正确处理概率分布。
摘要由CSDN通过智能技术生成

涉及到语音项目或者CRNN的LSTM等训练时，通常会用到CTCLoss，在使用低版本的pytorch的时候，一种用的是百度CTCloss，由于换了3090的卡，pytorch也强行升级到1.8版本，没办法和百度CTC兼容了，换回自带的from torch.nn import CTCLoss，

发现训练很久都没有预测内容。原来和百度CTC不同的是，pytorch自带的CTCloss的输入要经过log_softmax才可以。在训练时候网络的输出层加上

net(image).log_softmax()

问题解决。

 

CaiDou_
关注
专栏目录
关于pytorch中网络loss传播和参数更新的理解
09-18
在PyTorch中，理解和掌握网络损失(loss)的传播与参数更新是构建和训练神经网络模型的关键步骤。这里，我们将深入探讨这两个概念及其在实际应用中的实现。 首先，损失(loss)计算是衡量模型预测结果与实际目标之间的...
CTC-Loss
关于我的学习记录
05-14 6185
CTC-Loss
基于PaddlePaddle实现的DeepSpeech2端到端中文语音识模型
热门推荐
夜雨飘零
11-04 1万+
本项目是基于PaddlePaddle的[DeepSpeech](https://github.com/PaddlePaddle/DeepSpeech) 项目开发的，做了较大的修改，方便训练中文自定义数据集，同时也方便测试和使用。DeepSpeech2是基于PaddlePaddle实现的端到端自动语音识别（ASR）引擎，其论文为[《Baidu's Deep Speech 2 paper》](http://proceedings.mlr.press/v48/amodei16.pdf) ，本项目同时还支持各种数据
如何使用pytorch内置torch.nn.CTCLoss的方法&&车牌识别应用
OneBaBa的专栏
09-10 1726
一、开篇简述 CTC 的全称是Connectionist Temporal Classification，中文名称是“连接时序分类”，这个方法主要是解决神经网络label 和output 不对齐的问题（Alignment problem），其优点是不用强制对齐标签且标签可变长，仅需输入序列和监督标签序列即可进行训练，目前，该方法主要应用于场景文本识别（scene text recognition）、语音识别（speech recognition）及手写字识别（handwriting recognition
CTC束搜索解码原理和Pytorch实现（CTC Prefix BeamSearch Decode)
lujian45的博客
10-12 1695
CTC非贪婪序列解码算法，CTC束搜索算法。
CTC Loss (一）
00000cj的博客
06-03 3108
为什么加入空格？ 输入图片有的位置没有字符，不适合和输出一一对齐 解决输入中连续重复字符的情况 输出y的长度一定不大于输入x
ctcdecode:PyTorch CTC解码器绑定
04-28
ctc解码ctcdecode是针对PyTorch的CTC（连接器时间分类）波束搜索解码的实现。 从Paddle 借用的C ++代码。 它包括支持标准波束搜索的可交换评分器支持，以及基于KenLM的解码。 如果您不熟悉CTC和Beam搜索的概念，请...
pytorch安装注意事项
最新发布
04-10
然而，安装PyTorch时可能会遇到一些问题，下面将详细介绍PyTorch安装过程中的关键注意事项，以确保顺利进行。 1. **系统兼容性**：首先，确保你的操作系统是Windows、macOS或Linux，并且Python版本为3.6到3.9之间。...
pytorch的安装和注意事项
03-05
PyTorch是一款强大的深度学习框架，...总的来说，正确安装PyTorch并理解安装过程中的注意事项是使用这个框架的第一步。通过熟悉这些信息，开发者可以更顺利地搭建深度学习环境，开始探索和实现各种复杂的神经网络模型。
Pytorch中的CTC loss
fidbdiej的博客
05-05 2483
Pytorch中的CTC loss pytorch中已经内置了ctc loss，可以非常方便的进行使用。主要就是两个API，一个是创建ctc loss；一个是计算ctc loss。 创建ctc loss的api ctc_loss = nn.CTCLoss(blank=len(CHARS)-1, reduction='mean') # blank：表示空白符blank的序号。刚才我们在举例的时候说过，CTC增加了一个blank的符号。此处传入的就是空白符的序号。例如我们的预测文本中如果只包含26个英文字母，其
Pytorch的ctc解码实现
qq_37950002的博客
11-02 2287
在github上看到一个很好的ctc解码实现，暂时还没用。附上链接： pytorch的ctc解码实现 作者在readme里对代码的参数的介绍的很清楚，就不搬运翻译了，可以直接看。 在pytorch上CTC的安装: pytorch上CTC安装 ...
CTC loss
hzhj的博客
05-10 4090
为方便理解损失值计算的由来，先介绍相关概念。 伪字符，为解决重复字符(eg. hello)或字符间存在的空白区域而引入的无用字符。对输入字符串而言，将伪字符插入到字符串的相邻字母间，则当给定字符串长度为L时，变换后的字符串长度为2*L + 1。 ps 该字符与空字符不同，空字符为有效字符。 路径，表示时间序列上从起点到终点所对应每个元素的概率的乘积，如下公式所示。其中x表示给定输入，π表示...
基于CTPN（tensorflow）+CRNN（pytorch）+CTC的不定长文本检测和识别
weixin_41597991的博客
12-15 1117
文章主要是为了说明在windows平台下调试遇到的问题。 代码地址：https://github.com/Aurora11111/chinese-ocr-pytorch 按照相关说明，安装相关的pytorch和tensorflow，我使用的是python3.7 下载代码后，需要进行修改才能在windows上运行。 1.修改cython_nms.pyx文件中的第25行，修改为如下 cde...
Pytoch CTC
loopun的博客
10-21 334
背景 关于CTC 原理的介绍可参考 Sequence Modeling With CTC. 主要采用动态规划算法实现 Issue GitHub issue 目前比较广泛使用的CTC 有两个，一个是百度实现的wrap ctc, 另一个则是由pytorch 实现。 对于百度实现的CTC(在pytorch 1.1.0下编译), 在我的实验中，使用Synth90K 训练，在IIIT5K上只能达到64%左...
【Pytorch学习笔记2】Pytorch的主要组成模块
edifier_wy的博客
08-18 682
个人笔记，用于DataWhale组织的pytorch开源学习
python3 torch-baidu-ctc安装
Learning from the mistakes
04-02 712
今天试了一下baidu的torch ctc的安装： pip install torch-baidu-ctc 发现使用下面的代码会报错： import torch from torch_baidu_ctc import ctc_loss, CTCLoss 然后就源码安装吧： git clone --recursive https://github.com/jpuigcerver/py...
深入浅出CTC loss
algorithm learning blog
07-06 2845
深入浅出CTC loss
pytorch的torch.nn.CTCLoss方法
benben044的专栏
06-05 2480
CTCLoss使用说明
CTC Loss 数学原理讲解：Connectionist Temporal Classification
qq_43799400的博客
02-27 6707
CTC Loss 是一种不需要数据对齐的，广泛用于图像文本识别和语音识别任务的损失函数。
pytorch CTCloss
07-27
PyTorch中的CTCLoss是指Connectionist Temporal Classification Loss，它是一种用于解决神经网络标签和输出不对齐问题的方法。CTCLoss的优点是不需要强制对齐标签且标签可以是可变长度的。它主要应用于场景文本识别、语音识别和手写字识别等工程场景。在PyTorch 1.0.x版本内，已经内置了CTCLoss接口，可以直接使用。下面是一个使用CTCLoss的代码示例： ```python import torch import torch.nn as nn ctc_loss = nn.CTCLoss() log_probs = torch.randn(50, 16, 20).log_softmax(2).requires_grad_() targets = torch.randint(1, 20, (16, 30), dtype=torch.long) input_lengths = torch.full((16,), 50, dtype=torch.long) target_lengths = torch.randint(10, 30, (16,), dtype=torch.long) loss = ctc_loss(log_probs, targets, input_lengths, target_lengths) loss.backward() ``` 在这个示例中，我们首先创建了一个CTCLoss实例，然后生成了一些随机的log probabilities作为网络的输出。接着，我们生成了一些随机的目标标签和输入长度以及目标长度。最后，我们使用CTCLoss计算了损失，并进行了反向传播。\[2\] 在创建CTCLoss实例时，可以通过设置参数来自定义一些属性。例如，可以使用`blank`参数来指定空白符的序号，`reduction`参数来指定损失的计算方式。\[3\] 希望这个回答对你有帮助！ #### 引用[.reference_title] - *1* [如何使用pytorch内置torch.nn.CTCLoss的方法&&车牌识别应用](https://blog.csdn.net/CSDNwei/article/details/120223026)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [pytorch的torch.nn.CTCLoss方法](https://blog.csdn.net/benben044/article/details/125130411)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Pytorch中的CTC loss](https://blog.csdn.net/fidbdiej/article/details/124587812)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值