简介
目前很多sota的方法的结果在预测字典中的单词有很好的的效果,但是遇到图片中存在不存在字典中的单词的效果就不是很好。作者把这种现象称作为vocabulary reliance.作者发现(1)这种现象是普遍存在的,或多或少都会有这种情况(2)基于attention的方法在预测词典外的单词效果不好,而使用视觉特征的分割类的方法效果优秀。(3)内容建模和预测层相关。作者提出了一种结合基于attention和分割两种方法的训练策略,来减轻字典依赖这个现象,提升了识别的表现。
介绍
针对这个现象,举个例子,aster会把university预测成为universiti。而有些低质量的图片却能够正确预测,在这片文章中,作者主要对比了crnn,fan,ca-fcn和aster。在IIIT-5k数据集上,发现在字典中的单词的预测正确率比在字典为的预测准确高15个点以上。 (gap)
贡献
- 提出了字典依赖这个问题,提出了分析的实验设置并研究
- 通过实验分析不同方法预测层的优势和局限。attention和segement。
- context modeling的选自和pred的选择有关。提出了如何针对不同的预测方式选择不同的内容建模的指导。
- 提出了一种简单的融合策略减轻字典依赖问题
数据集的设置
- ls 根据字典生成的数据集
- rs 随机采样字符生成的数据集,单词的长度分布和ls的单词长度分布相同。
- MS 两者的混合。
模型
- 预测层:CTC,attention,segmentation
- context module:BLSTM,pyramid pooling module none
指标
- general accuracy
- observation ability:模型使用视觉信息预测的能力(使用的训练集中的单词不是根据字典中选出,而是随机字符的排列组合)
- vocabulary learning ability:模型学习字典的能力(预测的图片中的单词全部在训练集中出现过)
- vocabulary generation:1-(gap(ls)-gap(rs))
- harmonic mean:上面OA,VA和VG的调和平均
分析
训练集
- 个人理解,如果全部都是字典中的图片,那么网络模型会趋向于预测出字典中的单词,因此混合了随机生成的数据集,会使得网络模型趋向于识别视觉特征而不过分依赖于单词的联系。
不同的预测层
- attention在不同的的数据及上训练,gap总是最大的。
- attention的方法在VA这个指标上效果最好,seg在vg这个指标上最好。atten和seg在oa的指标上差不多。
不同的内容建模模块
- 对于attention的decoder来说,使用bilstm提升VA。
- 对于CTC和seg来说,使用PPM提升VA。
- VA和VG不能能够同时的好。
推荐
不同情况下使用不同的模型组合。
- 如果大多数图片中的字出现在字典中,推荐使用bilstm-attention decoder
- 如果训练的数据集是有限字典的话,推荐使用seg的方法。
改进措施
将attention和segementation分开两支训练,两支预测出来的概率得logits计算kl散度计算并入最后两支分别的loss。轮流梯度回归。