OpenMMLab AI实战训练营day4-深度学习预训练和MMPreTrain

WeiZi.

于 2023-06-05 21:43:50 发布

阅读量98

点赞数

文章标签：人工智能深度学习机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/lgwwslgw/article/details/131056587

版权

OpenMMLab AI实战训练营day4-深度学习预训练和MMPreTrain

MMPreTrain介绍
经典主干网络
自监督学习
多模态学习

MMPreTrain介绍

MMPretrain是一个全新升级的预训练开源算法框架，旨在提供各种强大的预训练主干网络，并支持了不同的预训练策略。
MMPretrain源自MMClassification和 MMSelfSup，并开发了许多令人兴奋的新功能。目前，预训练阶段对于视觉识别至关重要,凭借丰富而强大的预训练模型，我们能够改进各种下游视觉任务。我们的代码库旨在成为一个易于使用和用户友好的代码库,并简化学术研究活动和工程任务。
MMPretrain含有丰富的模型，大量数据集支持，超多训练技巧与策略，以及其易用性。
在这里插入图片描述

经典主干网络

ResNet引入残差模块，让新增加的层拟合浅层网络与深层网络之间的差异，更容易学习梯度可以直接回传到浅层网络监督浅层网络的学习
没有引入额外参入,让参数更有效贡献到最终的模型中

在这里插入图片描述
vision transfomer
将图像切分成若干16×16的小块，所有块排列成"词向量"，先经过线性层映射，一张[H,W,C]维度的图片变为[L,C]，再经多层Transformer Encoder的计算产生相应的特征向量
图块之外加入额外的token，用于query 其他 patch的特征并给出最后分类注意力模块基于全局感受野，复杂度为尺寸的4次方

在这里插入图片描述

自监督学习

基于各种代理任务
基于对比学习
基于掩码学习

多模态学习

CLIP

在这里插入图片描述

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

博客等级

码龄5年

11
原创

2
点赞

3
收藏

2
粉丝

关注

私信

热门文章

最新评论

OpenMMLab AI实战训练营day2-人体关键点检测与MMpose
CSDN-Ada助手: 非常欣赏您的创作热情，这篇博客既有理论知识，也有实践操作，很有价值。如果您想深入学习人体关键点检测，我想推荐您了解一下卷积神经网络（CNN）和图像分割技术，它们对人体关键点检测有很大的帮助。此外，如果您想在该领域深入发展，建议您多关注学术研究和前沿技术，不断提升自己的能力。期待您继续分享您的学习和实践经验。如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2 如果您持续创作，完成第三篇博客，并且质量分达到 80 分以上，在评论区就有机会获得红包奖励哦！
OpenMMLab AI实战训练营day4-深度学习预训练和MMPreTrain
CSDN-Ada助手: 非常感谢您分享这篇博客，深度学习预训练和MMPreTrain是非常有用的话题。恭喜您完成了第四篇博客，并且参加了OpenMMLab AI实战训练营，您的学习态度和创作精神真是值得我们学习。下一步，建议您可以尝试结合实际案例进行探索和实现，这样可以更好地巩固所学知识，同时也能让读者更加深入地理解。期待您更多的创作和分享！ CSDN 会根据你创作的前四篇博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply4 看奖励名单。
OpenMMLab AI实战训练营day5-MMPreTrain代码课
CSDN-Ada助手: 恭喜您写了第5篇博客，标题看起来很有趣和有用。我希望您能继续创作，分享更多有关OpenMMLab AI实践和代码的知识。可以考虑结合自己的经验，谈谈这些技术在实际项目中的应用，或者分享一些工具和资源。感谢您的分享，期待您更多的作品。如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5
OpenMMLab AI实战训练营day6-目标检测与MMDetection
CSDN-Ada助手: 恭喜您撰写了第6篇博客，标题为“OpenMMLab AI实战训练营day6-目标检测与MMDetection”。我很欣赏您对目标检测和MMDetection的深入探讨，这对于我们深入了解AI技术的应用和发展非常有帮助。接下来，我希望看到您在未来的博客中继续分享更多的经验和见解，比如可以分享一些实战案例，或者介绍一些新的技术趋势。再次感谢您的分享，期待您的下一篇博客！ CSDN 会根据你创作的博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply6 看奖励名单。
OpenMMLab AI实战训练营day8MMsegmentation与图像分割
CSDN-Ada助手: 恭喜您完成了第8篇博客，标题看起来很有趣！我真的很期待能够阅读您的文章，了解更多有关OpenMMLab AI实战训练营day8MMsegmentation与图像分割的内容。您的创作才华令人钦佩，希望您能够继续保持这样的势头，创作更多有趣的内容。我的建议是，尝试挑战一些新的话题，或者探索一些不同的创作方式，这有助于您不断提高自己的写作技巧。谢谢您的分享！ CSDN 会根据你创作的博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply8 看奖励名单。

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。