第四讲 深度学习预训练与MMPretrain

最新推荐文章于 2024-05-18 13:00:01 发布
最新推荐文章于 2024-05-18 13:00:01 发布
阅读量53 收藏
点赞数
分类专栏： AI实战营 文章标签： 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39109575/article/details/131056684
版权

MMpreTrain算法库介绍

MMPretrain 是一个全新升级的预训练开源算法框架，旨在提供各种强大的预训练主干网络并支持了不同的预训练策略。
在这里插入图片描述
配置文件

  • 模型结构：构模型有几层、每层多少通道数等
  • 数据：数据集划分、数据文件路径、批大小、数据增强策略等
  • 训练优化：梯度下降算法、学习率参数、训练总轮次、学习率变化策略等
  • 运行时：GPU、分布式环境配置等
  • 辅助功能：如打印日志、定时保存 checkpoint 等
    代码框架
    在这里插入图片描述
    数据流
    在这里插入图片描述

经典主干网络

早期深度神经网络

  • AlexNet(2012)
  • VGG(2014)
  • GoogLeNet(2014)
    问题：精度退化问题——模型层数增加到一定程度后，分类正确率不增反降。
    分析：卷积退化为恒等映射时，深层网络与浅层网络相同所以，深层网络应具备不差于浅层网络的分类精度。
    猜想：虽然深层网络有潜力达到更高的精度，但常规的优化算法难以找到这个更优的模型即，让新增加的卷积层拟合一个近似恒等映射，恰好可以让浅层网络变好一点。
    残差建模：让新增加的层拟合浅层网络与深层网络之间的差异，更容易学习梯度可以直接回传到浅层网络监督浅层网络的学习没有引入额外参入，让参数更有效贡献到最终的模型中。

残差网络 Resnet(2015)

在这里插入图片描述

Vision Transformer(2020)

在这里插入图片描述
注意力机制Attention Mechanism
在这里插入图片描述

自监督学习

  • 基于各种代理任务
  • 基于对比学习
  • 基于掩码学习
xcy04556
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
openmmlabAI实战训练营6.5mmpretrain理论部分
Ezrealok的博客
06-05 112
3.训练优化：梯度下降算法，学习率参数，训练总轮次，学习率变化策略等。对于某种图片x，对它做数据增强产生x1和x2，x1和x2互为正样本，其他图片的数据增强结果都是x1和x2的负样本。mmpretrain提供了丰富的模型：主干模型（VGG,ResNet，DenseNet，MobileNet，Shufflenet，ViT,SwinTransformer），自监督学习（MoCo，SIMCLRU，BEiT,MAE），多模态学习（CLIP,BLIP,Flamingo，DFA）等等。仅根据自己的理解记录一下。
深度学习预训练与MMPretrain
shinsonwu的博客
06-06 158
它是一个强大的预训练模型工具箱，支持多种预训练模型算法，包括自监督学习、多模态学习等。MMPreTrain预训练工具箱基于PyTorch，提供了一个简单易用的API和丰富的功能，可以方便地进行模型定义、训练和评估。使用MMPreTrain预训练工具箱，您可以快速实现预训练模型，并在各种视觉和自然语言处理任务上获得优秀的性能表现。它包含了多种前沿的预训练模型算法，包括自监督学习、多模态学习等，广泛应用于各种视觉和自然语言处理任务。这边也学习了一下，看的云里雾里。ResNet2015,论文引用让人惊叹啊！
CNN入门实战：我如何把准确率从86% 提高到99%（中）
热门推荐
bobo_jiang的博客
09-16 2万+
  蒋竺波 新加坡研究院 AI Department 公众号：follow_bobo   首发于专栏：https://zhuanlan.zhihu.com/c_141391545 个人公众号：follow_bobo 能不能点个赞，就是那种看起来写的还不错的样子 我们先来总结一下上一期的数据情况，顺便补充一点上一期没有讲到的： 目标类别一共20类，每类数量400-50不等 单从...
04 深度学习预训练与MMPretrain
qq_44785633的博客
06-06 196
记录时间：2023年6月6日。
OpenMMLab-4-深度学习预训练与MMPretrain
sinat_29552897的博客
06-06 177
在深度学习和自然语言处理（NLP）中，"token"一词通常指的是将输入文本分割成的更小的单元。Token可以是单词、子词或者字符，具体的选择取决于所使用的分词（tokenization）策略。比如，如果你使用空格和标点符号来分割英文文本，那么每个单词和标点符号都是一个token。例如，句子 “I love AI.” 会被分割成三个单词tokens “I”、“love” 和 “AI”，以及一个标点符号token “.”。
【OpenMMLab AI实战营二期笔记】第四天 深度学习预训练与MMPretrain
qq_41776136的博客
06-06 260
MMPretrain是一个全新升级（MMPretrain originates from MMClassification and MMSelfSup ）的预训练开源算法框架，旨在提供各种强大的预训练主干网络，并支持了不同的预训练策略。主要功能：（1）：包括主干模型、自监督学习算法、多模态学习算法（2）：COCO、ImageNet等常见数据集（3）：优化器与学习率策略、数据增强策略（4）
OpenMMLab-AI实战营第二期——3-1.深度学习预训练与MMPretrain
Castlehe的博客
06-05 600
视频链接：b站-深度学习预训练与MMPretrain官网： self-attention对比学习 掩码学习 对比学习+掩码学习双流网络，zero-shot分类器
【OpenMMLab AI实战营第二期】深度学习预训练与MMPretrain
JeffDing
06-05 660
MMPretrain 是一个全新升级的预训练开源算法框架，旨在提供各种强大的预训练主干网络， 并支持了不同的预训练策略。MMPretrain 源自著名的开源项目 MMClassification 和 MMSelfSup，并开发了许多令人兴奋的新功能。目前，预训练阶段对于视觉识别至关重要，凭借丰富而强大的预训练模型，我们能够改进各种下游视觉任务。我们的代码库旨在成为一个易于使用和用户友好的代码库库，并简化学术研究活动和工程任务。我们在以下不同部分中详细介绍了 MMPretrain 的特性和设计。
【OpenMMLab】AI实战营第二期Day4：深度学习预训练与MMPretrain
墨门
06-07 76
这是一节介绍深度学习预训练和mptrain的相关课程，其中包括任务组成和框架概览、经典主干网络的介绍、自监督学习、多模态算法中的clip以及blip两个算法等。
基于深度学习的预训练好的超分辨率模型
05-18
包括EDSR、ESPCN、FSRCNN、LapSRN，分别放大2倍，3倍，4倍，8倍的预训练好的模型 1. EDSR_x4.pb：单图像超分辨率纸的增强深度残差网络模型-将输入图像分辨率提高4倍 2. ESPCN_x4.pb：使用高效的亚像素卷积神经网络...
深度学习预训练库，集成各种经典backbone，基于OpenMMLab_MMPretrain库！！！.zip
05-10
与传统的学习方法相比，深度学习方法预设了更多的模型参数，因此模型训练难度更大，根据统计学习的一般规律知道，模型参数越多，需要参与训练的数据量也越大。 [2] 20世纪八九十年代由于计算机计算能力有限和相关...
使用深度学习预训练模型进行复杂背景的精确扣图
04-25
使用深度学习预训练模型进行复杂背景的精确扣图
深度学习VGG16 VGG19预训练模型下载
07-03
通常VGG训练模型下载需要连接，且下载速度慢，资源大小相对较大，下载慢，影响深度学习的热情，尤其是迁移学习这一块更是对VGG模型不可或缺。连接提供资源链接。 模型下载后参考我的模型加载方法就可以生成绚丽多彩...
深度学习之基于Pytorch框架的卷积神经网络图像去雨系统
2301_79809972的博客
05-17 799
一、项目背景在图像处理领域，图像去雨技术一直是一个热门的研究方向。随着深度学习技术的快速发展，尤其是卷积神经网络（CNN）的广泛应用，基于深度学习的图像去雨技术逐渐展现出其强大的潜力和优势。PyTorch作为一种开源的深度学习框架，因其易用性、灵活性以及强大的扩展性而备受研究者们的青睐。因此，本项目旨在利用PyTorch框架结合卷积神经网络（CNN）构建一个高效、准确的图像去雨系统。二、项目目标。
简单的神经网络
小森的博客
05-10 1173
对于二分类问题，假设我们只考虑正类（标签为1）和负类（标签为0）在多分类问题中，交叉熵损失函数可以扩展为−∑𝑖=1𝐾𝑦𝑖⋅log⁡(𝑝𝑖)−∑i=1K​yi​⋅log(pi​)，其中𝐾K是类别的总数，( y_i )是样本属于第𝑖i个类别的真实概率（通常用one-hot编码表示），而𝑝𝑖pi​是模型预测该样本属于第( i )个类别的概率。全连接层通常用于网络的最后几层，它将之前层（如卷积层和池化层）提取的特征进行整合，以映射到样本标记空间，即最终的分类或回归结果。主要作用就是计算损失函数对模型参数的梯度，
番外篇 | 一文读懂卷积神经网络（CNN）的基础概念及原理
突然好想你
05-16 1021
本文旨在对卷积神经网络进行详细的讲解，从基本原理到实际应用，帮助读者全面了解CNN的工作原理、优势和基本组成等，以及其在现实生活中的应用场景。接下来，让我们一起深入探索CNN的奥秘！🌈
【Python】深度学习中随机数种子seed的种类和设置方式
yangweipeng708的博客
05-13 293
在机器学习和深度学习的实验中，确保实验的可重复性是非常重要的。下面定义的函数的主要目的是设置随机种子以确保代码的随机性操作（如参数初始化、数据集分割、随机数据增强等）在不同运行之间是可重复的。这使得其他研究人员或开发者可以复现相同的实验结果，同时也便于调试和优化模型。
深度学习之基于YoloV5的动物识别系统
最新发布
2301_79809972的博客
05-18 387
一、项目背景与目标在生态研究、动物保护、以及畜牧业等多个领域，对动物进行准确、高效的识别都具有重要意义。然而，传统的手工观察和分析方法效率低下，且难以大规模应用。因此，基于深度学习的动物识别系统应运而生。本项目旨在通过采用先进的YOLOv5算法，实现对动物的精准识别，提高识别效率，并为相关研究提供有力支持。二、技术原理该项目基于深度学习和目标检测技术，具体采用了YOLOv5算法。
深度学习怎么加载预训练模型
05-25
在深度学习中，加载预训练模型通常涉及以下三个步骤： 1. 下载预训练模型权重文件。通常，预训练模型权重文件可以从开发者的网站或GitHub仓库中下载。一些常见的深度学习框架（如PyTorch和TensorFlow）也提供了方便...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值