OCR文字识别主要包括2个步骤:
文字检测:解决的问题是哪里有文字,大致的文本行区域
文字识别:对定位好的文字区域进行识别,主要解决的问题是每个文字是什么
文字检测可以使用我之前博客介绍的CTPN模型。
现有的常见的端到端文字识别框架有以下两种:
1.CNN+RNN+CTC
2.CNN+Seq2Seq+Attension机制
CTC
CTC的全称为Connectionist Temporal Classification。CTC主要解决一个问题——输入序列和输出序列对应的问题。比如在OCR识别中,字符数量、大小不同,输出不能和每个字符很好的一一对应。这时CTC的作用就体现出来了。CTC提出一种对不需要对齐的Loss计算方法,用于训练网络,被广泛应用于文本行识别和语音识别中。
CTC简述
以LSTM为例输出为例
定义输入x的时间步为T,每个时间步上的特征维度记作m,表示m维特征。
输出时间步也为T,和输入可以一一对应,每个时间步的输出维度作为n,表示n维输出,实际上是n个概率
假设要对26个英文字符进行识别,考虑到有些位置没有字符,定义一个-作为空白符加入到字符集合L′={a,b,c,…,x,y,z}∪{−}=L∪{−}={a,b,c,…,x,y,z,−},那么对于LSTM而言每个时间步的输出维度n就是27,表示27个字符在这个时间步上输出的概率。
如果根据这些概率进行选取,每个时间步选取一个元素,就可以得到输出序列,其输出空间可以记为L′^T。
定义一个B变换,对LSTM的