04 深度学习预训练与MMPretrain

最新推荐文章于 2024-06-02 21:52:16 发布
最新推荐文章于 2024-06-02 21:52:16 发布
阅读量203 收藏
点赞数
分类专栏： Openmmlab学习 文章标签： 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44785633/article/details/131061180
版权

04 深度学习预训练与MMPretrain

记录时间：2023年6月6日

MMPretrain算法库

基于MMEngine（基础深度学习训练框架）、MMCV（计算机视觉基础库）
是一个预训练的开源算法框架，旨在提供各种预训练主干网络，并支持不同预训练策略，同时支持多模态功能。

代码仓库：地址
文档教程：地址

推理API

在这里插入图片描述

openmmlab的配置文件

需要配置的信息如下图所示
在这里插入图片描述

代码框架

在这里插入图片描述

数据流过程

在这里插入图片描述

配置文件运行方式

在这里插入图片描述
通过以上的学习，可以参考该算法库的整体框架，为以后自己的开发工作作相应的准备

经典主干网络

ResNet

论文：Deep residual learning for image recognition（CVPR2016）

第一阶段：堆叠网络层数

  • AlexNet（2012）——8层
  • VGG（2014）——16、19层
  • GoogLeNet（2014）——22层
    然而，人们发现模型层数增加到一定数目后，分类正确率不增反降
    在这里插入图片描述
    猜想：虽然深层网络有潜力达到更高的精度，但常规的优化算法难以找到这个更优的模型，即，让新增加的卷积层拟合一个近似恒等映射，恰好可以让浅层网络变好一点。（具体细节建议看原视频）原视频

第二阶段：残差学习

发展思路：
在这里插入图片描述
由上述思路，引出了ResNet

但引出了问题：为什么这样处理就可以使得效果更好？（暂时不理解）

ResNet的两种残差模块：
在这里插入图片描述
ResNet网络整体结构
在这里插入图片描述在这里插入图片描述

Vision Transformer

论文：An image is worth 16✖16 words: Transformers for image recognition at scale
整体结构
在这里插入图片描述

注意力机制使用举例

在这里插入图片描述

注意力机制

在这里插入图片描述
注意到在卷积当中，权重只与前层特征的局部关系相关；而在注意力机制中，权重将前层特征作为一个输入，可以更好的、显示的（相比卷积）建模远距离关系。（个人理解，不知对否）

一维数据的注意力机制的计算的逻辑图
在这里插入图片描述
在该逻辑图中，我没听明白注意力机制的运行过程，此处需要更进一步的了解注意力机制的细节与计算逻辑。由于通过自身输入产生Q、K、V向量，被称为self-attention。
问题1：注意力机制的细节（Q、K、V的计算过程）

Multi-head Attention（多头注意力机制）
multi-head in attention = multi-channel in conv
优点：在计算过程中，不同头的注意力可以对不同的特征进行提取，从而提升网络性能
在这里插入图片描述

自监督学习

互联网上有海量的数据，但是有标注的数据却少之又少，为了利用这些海量数据而不依赖人工标注，让深度神经网络能够从数据本身去学到对应的特征表达，因此发展了自监督学习。

分类

基于各种代理任务

  • 图像上色
    在这里插入图片描述

  • 图像排序（拼图）
    在这里插入图片描述

基于对比学习

在这里插入图片描述

SunCLR

论文：A simple framework for contrastive learning of visual representations(ICML 2020)
基本假设：如果模型能很好地提取图片内容的本质，那么无论图片经过什么样的数据增强操作，提取出来的特征都应该极为相似。

在这里插入图片描述
训练的目的是使目标图像的正样本与其他图像的负样本之间的差异越来越大——拉近正样本之间的距离，推远正负样本之间的距离。（对比学习的思路）

基于掩码学习

掩码学习的逻辑：
在这里插入图片描述

Masked Autoencoders(MAE)

论文：Masked autoencoders are scalable wision learners(CVPR 2022)
基本假设：模型只有理解图片内容、掌握图片的上下文信息，才能恢复出图片中被随机遮挡的内容。
在这里插入图片描述

对比、掩码结合起来的方式

在这里插入图片描述

多模态算法

多模态定义参考：链接

CLIP

论文：Learning Transferable Visual Models from Natural Language Supervision(ICML 2021)
在这里插入图片描述
CLIP的测试结果：
在这里插入图片描述
结论：

  1. 在大规模数据集上使用NLP监督预训练图像分类器，证明了简单的预训练任务，即预测图像和文本描述是否相匹配，是一种有效的、可扩展的方法。
  2. 用4亿对来自网络的图文数据对，将文本作为图像标签，进行训练。进行下游任务时，只需提供和图像对应的文本描述，就可以进行zero-shot transfer，并取得可观的结果。
    问题：什么是zero-shot transfer？

BLIP

论文：BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation(ICML 2022)

特征区分

在这里插入图片描述

特征匹配

在这里插入图片描述

文字生成
在这里插入图片描述

在这里插入图片描述

其他多模态算法

在这里插入图片描述

小小爬虫
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习预训练与MMPreTrain
travel_66的博客
06-06 243
MMPreTrain是一个全新升级的预训练开源算法框架，提供各种强大的预训练主干网络，支持了不同的预训练策略。合并了MMClassification和MMSelfSup，有利于用户对不同模型进行筛选。
OpenMMLab-4-深度学习预训练与MMPretrain
sinat_29552897的博客
06-06 182
在深度学习和自然语言处理（NLP）中，"token"一词通常指的是将输入文本分割成的更小的单元。Token可以是单词、子词或者字符，具体的选择取决于所使用的分词（tokenization）策略。比如，如果你使用空格和标点符号来分割英文文本，那么每个单词和标点符号都是一个token。例如，句子 “I love AI.” 会被分割成三个单词tokens “I”、“love” 和 “AI”，以及一个标点符号token “.”。
深度学习预训练与MMPretrain
nty102的博客
06-06 159
MMPretrain 是一个全新升级的预训练开源算法框架，旨在提供各种强大的预训练主干网络，并支持了不同的预训练策略。MMPretrain 源自MMClassification和MMSelfSup，并开发了许多令人兴奋的新功能。目前，预训练阶段对于视觉识别至关重要，凭借丰富而强大的预训练模型，我们能够改进各种下游视觉任务。我们的代码库旨在成为一个易于使用和用户友好的代码库，并简化学术研究活动和工程任务。
AI实战营：深度学习预训练与MMPreTrain
guwuyue的博客
06-05 1118
一、MMPretrain算法库介绍 算法库与任务组成 1 1 1 框架概览 1 1 1 二、经典主干网络 ResNet 1 1 1 Vision Transformer 1 1 1 三、自监督学习 SIMCLR 1 1 1 MAE 1 1 1 四、多模态算法 CLIP 1 1 1 BLIP 1 1 1
深度学习预训练与MMPRETRAIN
weixin_42837310的博客
06-09 79
深度学习预训练与MMPRETRAIN
深度学习用于图像分类预训练模型
05-28
深度学习用于图像分类预训练模型
深度学习预训练库，集成各种经典backbone，基于OpenMMLab_MMPretrain库！！！.zip
05-10
与传统的学习方法相比，深度学习方法预设了更多的模型参数，因此模型训练难度更大，根据统计学习的一般规律知道，模型参数越多，需要参与训练的数据量也越大。 [2] 20世纪八九十年代由于计算机计算能力有限和相关...
基于深度学习的预训练好的超分辨率模型
05-18
包括EDSR、ESPCN、FSRCNN、LapSRN，分别放大2倍，3倍，4倍，8倍的预训练好的模型 1. EDSR_x4.pb：单图像超分辨率纸的增强深度残差网络模型-将输入图像分辨率提高4倍 2. ESPCN_x4.pb：使用高效的亚像素卷积神经网络...
使用深度学习预训练模型进行复杂背景的精确扣图
04-25
使用深度学习预训练模型进行复杂背景的精确扣图
深度学习VGG16 VGG19预训练模型下载
07-03
通常VGG训练模型下载需要连接，且下载速度慢，资源大小相对较大，下载慢，影响深度学习的热情，尤其是迁移学习这一块更是对VGG模型不可或缺。连接提供资源链接。 模型下载后参考我的模型加载方法就可以生成绚丽多彩...
基于深度学习的音乐合成算法实例
学-> 思->用
06-02 82
基于深度学习的音乐合成算法可以生成高质量的音乐片段。以下是一个简化的基于深度学习的音乐合成算法实例，使用了LSTM网络来生成音乐序列。这个示例展示了如何使用LSTM网络来训练和生成音乐。
神经网络与深度学习——第7章 网络优化与正则化
a_blade_of_grass的博客
06-02 735
代入可知，可以看作是真正的学习率，如果不成正比，那么会出现过大或者过小的情况，使参数更新不稳定或者过慢。可以看出，如果β1\beta_1β1​和β2\beta_2β2​都接近1，Mt\hat M_tMt​接近MtM_tMt​Gt\hat G_tGt​接近GtG_tGt​，当M00G00M0​0G0​0，初期的均值和未减去均值的方差都很大，因为ttt。
当代人工智能三教父——深度学习三巨头
心碎烤肠的博客
05-23 2831
今天下午闲来无事翻阅了一下csdn首页的头条文章——《27 岁天才创始人Joel Hellermark分享了自己和“AI 教父”Geoffery Hinton的最新采访》 感觉挺有意思，就从头到尾的看了一遍，里面有很多自己以前从未涉及到的知识，就浅显的整理了一下：
深度学习复盘与论文复现B
最新发布
QuantumYou的博客
06-02 446
GoogLeNet在一个块中将几种卷积核（1×1、3×3、5×5、…）都使用，然后将其结果罗列到一起，将来通过训练自动找到一种最优的组合。（Feature Extraction），最后的 Fully Connected 称为分类（Classification）。Average Pooling 均值池化：保证输入输出宽高一致（可借助padding和stride）总结：一般LSTM 比RNN性能好，但运算性能时间复杂度比较高，所以引出折中的GRU介绍。卷积核通道数=输入通道数，卷积核个数=输出通道数。
基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统
zgw555555的专栏
06-02 377
该系统通过构建医疗领域的知识图谱，结合BERT+LSTM+CRF深度学习模型，实现对医疗领域文本信息的深度理解和自动问答。系统采用Python技术进行数据爬取和知识图谱的搭建，并通过echarts、Neo4j等工具实现知识图谱的可视化。Django框架用于web网页的开发，为用户提供直观的医疗问答服务。BERT模型。
[深度学习]使用python部署yolov10的onnx模型
FL1623863129的博客
06-02 485
我用5秒钟生成的热巴模型，什么水平？，使用C#部署yolov8的目标检测tensorrt模型，[深度学习][目标检测][面试提问]Batch Normalization批归一化，基于yolov6+botsort+pyqt5实现的目标追踪视频演示。使用python部署yolov10的onnx模型_哔哩哔哩_bilibili。
从零实现Llama3中文版
wdn blog
05-26 823
从零实现Llama3中文版，该项目能在一台 16G RAM 的笔记本电脑上运行。
深度学习怎么加载预训练模型
05-25
在深度学习中，加载预训练模型通常涉及以下三个步骤： 1. 下载预训练模型权重文件。通常，预训练模型权重文件可以从开发者的网站或GitHub仓库中下载。一些常见的深度学习框架（如PyTorch和TensorFlow）也提供了方便...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值