残差连接可以平滑损失曲面。各种元素的相互借鉴是常态。注意力机制引入到卷积神经网络中。轻量化卷积网络相当重要,可以用于移动端的计算。注意力机制深度学习的训练流程等同机器学习。更多讨论各种训练技巧的重要性数据增强是我见过最迷惑的翻译。