2023-09-04学习日记

 今日感悟

“贡献，Contribution”

把自己的价值，团队的价值立足与对他人的贡献之上，是个人创业和团队创业的秘诀。

---

今日学习内容

1.Transformer在计算机视觉中的应用-VIT、TNT模型

摘要：

本文讨论了Transformer模型在计算机视觉中的应用，具体涵盖了VIT和TNT模型。文章解释了由于卷积神经网络（CNN）的有限感受野而导致的局限性，以及Transformer中的注意力机制如何解决这个问题。VIT模型将图像转化为一系列图像块，添加位置编码，并使用多头自注意力、层归一化和全连接层来提取特征。文章还介绍了TNT模型，这是一个嵌套的Transformer模型。内部的Transformer将每个图像块划分为多个子块，而外部的Transformer则汇总来自这些子块和图像块的特征。

感想：

又复习了下VIT原理，对比CNN的优势。有所悟。

TNT是第一次听说，但没看到大规模应用。

2.深度学习模型集成方法

摘要： 

本文讨论了深度学习模型集成的三种常用方法：快照集成（Snapshot Ensemble）、快速几何集成（Fast Geometric Ensembling）和随机权重平均（Stochastic Weight Averaging）。这些方法可以通过结合多个模型的预测来提高任何给定神经网络的性能。文章解释了局部最优解和全局最优解之间的区别，以及这些方法在权重空间中的工作原理。快照集成在每个学习率周期结束时保存模型，并将它们用于预测，而快速几何集成使用线性分段学习率和比快照集成更短的周期长度。最后，随机权重平均使用SWA方法计算损失，并对两个单独的模型的权重进行平均，以获得最终的预测模型。

感想：

模型集成方法对工业落地或许存在挺大的价值，我司在这块导入还是不足，后续需要加强。

单个模型内部集成是个有意思的思路，毕竟跑多个模型，对时间的损耗有点大。