- 博客(3)
- 收藏
- 关注
RSS订阅原创 2021-mae
论文链接链接: https://pan.baidu.com/s/1jFRfhhf450lqSsSJ3HUf6w 提取码: lftk问题/目的迁移nlp中的masked-autoencoding思路至cv结论设计了mae方法，一种自监督方法，可以使用小数据集训练出泛化性很好的cv模型，在下游任务中超过很多监督模型。核心思想是随机擦除图片然后训练模型进行图片重建。创新点1、masking：将图片分成多个不重叠块，大比例擦除图片块，留下的图片块保持均匀分布，防止中心位置偏向。
2022-06-06 20:08:19
388
1
原创 2021-vit
问题/目的transformer结构在nlp领域效果很好，理论认为此种结构在cv领域应该也能大放异彩，于是将transformer结构迁移至cv领域。结论将transformer结构先进行超大数据集预训练，然后迁移至相关cv任务，效果不亚于甚至超过很多cnn结构创新点1、网络结构将HWC的图片拆分成N个PPC个patches，N=HW/P^2。使用一种可训练映射方式将小块flattern到D个，D为Transfomer的每层向量大小（这一条尚未完全理解）。embedding预留第
2022-05-16 13:48:43
787
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人