【总结】cnn+bilstm+lstm 训练的一些技巧

预处理:

BLSTM 分为两类,第一类不支持变长输入,第二类支持变长输入. 显然,由于我们的手写体文本行的长度都是不固定的,所以采用的是支持变长输入的BLSTM. 这里的变长 不是指任意长度,而是多个固定长宽。
根据CASIA-HWDB2.0-2. 2 数据集中文本行图片的大小,采取的固定长宽分别为:
[240,130]、[400,180]、[560,180]、[640,180]、[800,180]、[950,200]、[1030,200]、[1210,180]、[1290,200 ]、[1370, 200]、[1450,200]、[1530,200]、[1610,180]、[1700,130]、[1700,170]、[1700,220]、[1800,130]、[1800,170]、[1800, 220]、[1800,300]、[1900,130]、[1900,170]、[1900,220]、[1900,300]、[2000,150]、[2000,220][2000,300]、[2100, 150]、[2100,220]、[2100,300]、[2200,260]、[2300,260]、[2600, 500]

根据图片的大小,从前往后判断当前图片的长宽所处的边界范围. 如果图片长和宽恰巧等于边界值,则不需改变图片; 否则需要根据边界的大小,将图片的右侧和下方加白边; 将图片大小超过[2600, 500]边界的图片直接归一化为[2600, 500]. 这样就把所有的图片按照大小分成33 类.并且为了高效的进行训练,把所有分类过后的图片进行归一化,长和宽分别设置为当前图片的二分之一(也就是进行一次resize,使得图片缩小,这样便于进行训练,也节省了空间和时间!!)

这篇论文的网址Attention 机制在脱机中文手写体文本行识别中的应用

如果使用其他的数据集:

【Text Transcriptor】训练CRNN时,关于ctc_loss的几点注意事项

另外的一个crnn训练总结文:
原文链接: 建议看原文,我是怕原文挂了,才做一个转载备份一下。。。
https://www.cnblogs.com/shouhuxianjian/p/8036105.html
转载链接: crnn的一些训练技巧

  • 0
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: CNN+Bilstm+Attention是一种深度学习模型,用于自然语言处理任务,如文本分类、情感分析等。CNN用于提取文本中的局部特征,Bilstm用于捕捉文本中的长程依赖关系,而Attention机制则可以对文本中的重要信息进行加权,从而提高模型的性能。这种模型在自然语言处理领域取得了很好的效果。 ### 回答2: CNN双向LSTM注意力机制(CNN-BiLSTM-Attention)是一种智能语义分析模型,用于自然语言处理领域的文本分类等任务中。它结合了卷积神经网络(CNN)、双向长短时记忆网络(BiLSTM)和注意力机制(Attention),能够从语义和上下文等多个角度对文本进行深入分析,同时避免了传统模型的一些缺陷和局限性。 CNN作为第一层网络,主要用于捕捉文本空间特征,比如单词、句子或段落之间的局部关联性。它通过卷积操作对文本进行特征提取,从而得到整个文本的语义表示。接着,BiLSTM作为第二层网络,主要用于捕捉文本序列特征,比如单词之间的时间依赖关系。具体地,它通过正向和反向两个LSTM网络进行计算,得到整体文本的时序表示。 最后,Attention作为第三层网络,主要用于加强文本的关键部分,比如重要的单词、短语或句子。它基于文本的向量表示,以及主题模型等技术,进行加权计算,使得模型在处理长文本时更加准确和高效。 总之,CNN-BiLSTM-Attention模型是一种基于深度学习技术的高级模型,能够胜任各种文本处理任务,比如文本分类、情感分析、机器翻译等。它不仅具备传统NLP模型的优势,而且可解决传统模型的瓶颈问题,从而提高了分析结果的准确性和实用性。当然,在实际应用中,我们需要根据具体任务选择合适的模型和参数,以达到最佳效果。 ### 回答3: CNNBiLSTM和Attention都是深度学习领域中常用的模型。CNN(卷积神经网络)主要用于图像识别、物体检测等领域,可以提取图片中的空间信息,通过对不同卷积核的学习,获得不同的特征,从而实现对图片的准确分类。BiLSTM(双向长短时记忆网络)则可以处理序列数据,比如自然语言处理中的文本、语音识别中的信号等。BiLSTM网络能够维护输入序列的历史信息,并且具有长短时记忆性,能够在循环神经网络中解决梯度消失和梯度爆炸问题,提高模型的泛化能力。Attention机制则是可以让模型有机会选择性地关注序列中的一部分,动态地将输入的各个元素赋予不同的权重,从而加强模型对关键信息的学习。Attention机制可以应用于自然语言处理、图像处理等领域,在机器翻译、文本摘要和图像描述方面有很好的效果。 CNNBiLSTM的结合是利用两者互补的特点,CNN能够提取局部的空间特征,而BiLSTM能够学习序列中的上下文信息。在自然语言处理中,句子中的一些单词可能会在本句话和后面的句子中重复出现,这些单词传统的深度学习模型容易忽略掉。而引入Attention机制之后,模型可以将最重要的词汇加强学习,同时忽略掉无关的词汇,从而提高模型的准确率和效果。因此,结合CNNBiLSTM和Attention机制进行建模的CNN-BiLSTM-Attention模型在自然语言处理和语音识别中被广泛应用,并取得了不错的效果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值