1.网络特点
1.端到段训练
2.自动处理变长序列
3.兼容基于词典与无词典模式
2.目前存在问题
1.对于序列识别,传统深度卷积DCNN输出长度固定,不能用于变长序列预测
2.变长识别问题可以使用检测+DCNN分类解决,但这种方法对于检测器有较高要求
3.基于词典的模式网络输出类别数量巨大,且难以范化到其他检测中去(例如中文,乐符OCR任务,新的任务需要新的词典)
4.存在方法:Hog feature+RNN,Hog feature无法端到段训练,RNN推理只依赖历史信息且存储的历史信息有限。
3.网络结构
CRNN网络结合了DCNN与RNN,网络由三部分组成
1.DCNN卷积
网络结构基于VGG并去掉全连接,第三四池化层使用1*2大小的池化窗口改变输出特征感受野以适配单词尺寸。用于提取输入图片特征到二维特征序列,每列特征与原始图片在水平方向上依次对应
2.循环层
使用Bi-LSTM构建特征序列,解决RNN上下文存储限制,解决LSTM只依赖过去信息的问题
3.转述层
转换每帧预测到标签序列,步骤