深度学习模型的训练涉及几个方面:
模型结构：模型有几层、每层多少通道数等
数据：数据集划分、数据文件路径、批大小、数据增强策略等
训练优化：梯度下降算法、学习率参数、训练总轮次、学习率变化策略等
运行：GPU、分布式环境配置等
辅助功能：如打印日志、定时保存 checkpoint 等
残差建模
残差建模: 让新增加的层拟合浅层网络与深层网络之间的差异，更容易学习梯度可以直接回传到浅层网络监督浅层网络的学习没有引入额外参入，让参数更有效贡献到最终的模型中
将图像切分成若干 16x16 的小块，所有块排列成”词向量”，先经过线性层映射，一张[H,w,C] 维度的图片变为[L,C]，再经多层 Transformer Encoder 的计算产生相应的特征向量图块之外加入额外的 token，用于 query 其他 patch 的特征并给出最后分类注意力模块基于全局感受野，复杂度为尺寸的 4次方
实现层次化特征: 后层特征是空间邻域内的前层特征的加权求和权重越大，对应位置的特征就越重要
卷积：权重是可学习的参数，但与输入无关只能建模局部关系，远距离关系只能通过多层卷积实现
注意力机制：权重是输入的函数，于输入有关，可以不局限于邻域，显式建模远距离关系
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
