![](https://img-blog.csdnimg.cn/8c4322965f56438ea804390d9a79c0a9.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
论文精读
文章平均质量分 95
跟李沐学AI系列课程学习笔记
AI大模型前沿研究
软件工程硕士,机器学习&深度学习爱好者,忘记背后,努力面前,向着标杆直跑!
展开
-
『论文精读』FastViT(ICCV 2023,Apple开源)论文解读
最近transformer和卷积设计的融合导致了模型的准确性和效率的稳步提高。本文提出FastViT,一种混合视觉transformer架构,可获得最先进的延迟-精度权衡。本文提出一种新的token混合算子RepMixer,FastViT的一个构建模块,使用结构重参数化,通过删除网络中的跳跃连接(skip-connections)来降低内存访问成本。进一步应用训练时间过参数化和大核卷积来提高精度,并根据经验表明这些选择对延迟的影响最小。原创 2023-08-22 14:53:19 · 767 阅读 · 0 评论 -
『论文精读』Data-efficient image Transformers(DeiT)论文解读
现有的基于Transformer的分类模型ViT需要在海量数据上(JFT-300M,3亿张图片)进行预训练,再在ImageNet数据集上进行fune-tuning,才能达到与CNN方法相当的性能,这需要非常大量的计算资源,这限制了ViT方法的进一步应用。DeiT的模型和VIT的模型几乎是相同的,可以理解为本质上是在训一个VIT。better hyperparameter:指的是模型初始化、learning-rate等设置。data augmentation:在只有120万张图片的Imagenet。原创 2023-08-17 16:23:02 · 680 阅读 · 1 评论 -
『论文精读』Vision Transformer(VIT)论文解读
ViT是2020年Google团队提出的将Transformer应用在图像分类的模型,虽然不是第一篇将transformer应用在视觉任务的论文,但是因为其模型 “简单”且效果好,可扩展性强(scalable,模型越大效果越好),成为了transformer在CV领域应用的里程碑著作,也引爆了后续相关研究。原创 2023-06-15 17:06:18 · 6057 阅读 · 1 评论 -
『机器学习白板』频率派vs贝叶斯派
对概率的诠释有两大学派,一种是频率派另一种是贝叶斯派。原创 2022-04-02 18:38:29 · 1635 阅读 · 0 评论