阅读文献学习记录三（迭代对齐）

Iterative Alignment Network for Continuous Sign Language Recognition

2019 CVPR

框架：3D-ResNet（特征学习）+带CTC的编码器-解码器网络（序列建模）

问题1：序列建模中编码器解码器网络在建模依赖上存在一定的局限性，CTC网络能处理未分段的输入数据

解决方法：在编码器-解码器网络中引入注意力机制来学习原序列与目标序列的对应关系，构建了编码器-解码器网络与CTC相结合的统一深度学习框架。

问题2：编码器LSTM缺点只建模当前输入和前序时间序列之间的关系

解决方法：使用双向的LSTM进行编码，基本思想是分别将训练序列正序和倒序输入到两个独立的LSTM单元中，然后将其输出结构进行拼接，输入到网络的下一层。

问题3：由于损失函数采用链式法进行前向传播，则目标函数对特征提取器的浅层神经元的更新受到限制。

解决方法：直接使用视频片段对应的手语单词标签作为监督信息，对特征提取网络3D-ResNet进行优化，然后将优化的特征用于下一迭代周期中编解码网络的训练。

创新点：将LSTM和CTC解码器进行联合解码，并使用soft-DTW进行对齐约束。

网络框架：

迭代训练过程：

 

对3DResNet提取的序列特征进行编码后，CTC解码器和LSTM解码器将其解码为符号注释。解码器还通过软dtw生成与扭曲路径的对齐建议，以在下一次迭代中对3D-ResNet进行微调 。

CTC loss：                  

LSTM loss：              

通过soft-DTW定义如下对齐损失:           

网络的整体优化目标:              

联合两种解码器的生成概率对候选句子重排序，选出生成概率最大的句子作为最终的识别结果。