贤貝-CSDN博客

原创论文阅读1 ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

本文标题翻译为**《ViLT：无需卷积或区域监督的视觉与语言变换器》**。文中介绍了一种新型的视觉与语言预训练（Vision-and-Language Pre-training, VLP）模型，称为Vision-and-Language Transformer（ViLT）。ViLT模型的主要特点是它不依赖于传统的卷积神经网络（CNN）架构或区域监督（如目标检测）来提取图像特征，而是采用一种更为简化的方法来处理视觉输入，使得模型在效率和速度上得到显著提升，同时保持了与之前VLP模型相当或更好的下游任务性能。

2024-07-19 00:53:15 443 2

原创 pytorch的学习——迁移学习，模型微调

1、概念1、迁移学习：把已经训练好的模型参数，迁移到新的模型，来帮助新的模型训练。步骤：网络→大数据集→模型→模型微调→新数据集→新模型2、冻结：被冻结的层可以前向传播，也可以反向传播，只是自己这一层的参数不更新，其他未冻结层的参数正常更新3、正则化：这里使用BatchNorm，对该层每个节点的这m个输出进行归一化再输出.2、代码肺部感染识别，使用resnet50模型def get_model(): model_pre = models.resnet50(pretrained=True

2022-04-06 22:52:06 3155

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 论文阅读1 ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

原创 pytorch的学习——迁移学习，模型微调

空空如也

空空如也

原创论文阅读1 ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision