十一 动手学深度学习v2计算机视觉 ——微调

已于 2023-11-23 16:55:14 修改
阅读量114 收藏
点赞数
分类专栏： 动手学深度学习 文章标签： 深度学习 计算机视觉 人工智能
于 2023-11-23 16:43:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43056275/article/details/134511240
版权

一、网络架构

  • 一个神经网络一般可以分成两块
    • 特征抽取，将原始像素变成容易线性分割的特征。
    • 线性分类器来做分类。

在这里插入图片描述
二、训练

  • 是一个目标数据集上的正常训练任务，
    但使用更强的正则化
    • 使用更小的学习率
    • 使用更少的数据迭代
  • 源数据集远远复杂于目标数据集的话，通常微调效果更好

三、固定一些层

  • 神经网络通常学习有层次的特征表示
    • 低层次的特征更加通用
    • 高层次的特征和数据集相关
  • 可以固定底部的一些层的参数，不参与更新

总结

  • 微调通过使用在大数据上得到的预训练好的模型来初始化模型权重来完成提升精度。
  • 预训练模型质量很重要
  • 微调通常速度更快，精度更高
王二小、
关注
专栏目录
动手学深度学习课程作业和答案
03-21
本资源"动手学深度学习课程作业和答案"提供了一个学习深度学习的实践平台，帮助学生和研究人员巩固理论知识，提升实战技能。 在深度学习中，我们通常会涉及以下几个核心概念： 1. **神经网络**：神经网络是深度...
动手学深度学习之机器翻译和数据集
01-06
参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/video/MZn2AdNyGzumTprVPwV3y 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的...
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-softmax
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——softmax
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-权重衰退
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——权重衰退
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-drop out
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——drop out
深度学习·wandb
2301_80132162的博客
10-01 242
一个好用的可视化训练过程和调参工具，建议在深度学习中使用，语法来说更加方便。
对比学习训练是如何进行的
qq_45809323的博客
09-25 601
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
深度学习：DCGAN
Landy_Jay的博客
10-01 219
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
Pytorch-CNN轴承故障一维信号分类(二)
10-01 891
本文基于凯斯西储大学（CWRU）轴承数据，先经过数据预处理进行数据集的制作和加载，最后通过Pytorch实现CNN模型一维卷积和二维卷积对故障数据的分类，然后进行对比。
YOLO11改进|注意力机制篇|引入MLCA轻量级注意力机制
最新发布
A1983Z的博客
10-01 675
YOLO11中添加MLCA轻量级注意力机制
深度学习：迁移学习
纸上得来终觉浅
09-27 1172
迁移学习
深度学习500问——Chapter15：异构计算，GPU和框架选型（1）
不要给自己设限，尝试更多可能（思所向 皆可往）
09-26 1192
异构计算是基于一个更加朴素的概念，“异构现象”，也就是不同计算平台之间，由于硬件结构（包括计算核心和内存），指令集和底层软件实现等方面的不同而有着不同的特性。异构计算就是使用结合了两个或者多个不同的计算平台，并进行协同运算。比如，比较常见的，在深度学习和机器学习中已经比较成熟的架构：CPU和GPU的异构计算；此外还有比较新的Google推出的协处理器（TPU），根据目的而定制的ASIC，可编程的FPGA等也都是现在在异构计算中使用比较多的协处理器。
基于深度学习的持续的知识积累与转移
weixin_42605076的博客
10-01 530
基于深度学习的持续知识积累与转移是指利用深度学习技术在多个任务或领域中有效地获取、更新和应用知识。这一过程能够提高模型在新任务上的性能，同时减少对大量标注数据的依赖。
《深度学习》—— 神经网络中的数据增强
weixin_73504499的博客
09-24 1383
神经网络中的数据增强是一种通过增加训练数据的多样性和数量来提高模型泛化能力的技术。在神经网络训练过程中，尤其是在数据集较小的情况下，模型容易出现过拟合问题，即模型在训练数据上表现良好，但在未见过的数据上表现不佳。数据增强技术通过对原始数据进行一系列变换，生成新的数据样本，从而有效缓解这一问题。
深度学习---------------------------深度循环神经网络
Einstein·Jun
10-01 207
深度循环神经网络使用多个隐藏层来获得更多的非线性性。
深入探索卷积神经网络（CNN）
码途探索
09-24 1003
在当今这个数据驱动的时代，图像识别、分析和理解已成为人工智能领域中最为活跃的研究方向之一。从自动驾驶汽车到智能手机的人脸识别功能，再到医学影像分析，图像处理技术的应用无处不在，且其重要性日益凸显。卷积神经网络（CNN），作为深度学习领域的一项突破性技术，已经成为图像识别和分类任务中的首选工具。CNN之所以强大，是因为它能够自动、高效地从大量图像数据中学习到有用的特征，而无需人工干预。这种能力使得CNN在图像和视频分析、自然语言处理甚至游戏等领域都取得了令人瞩目的成就。
《深度学习》ResNet残差网络、BN批处理层 结构、原理详解
wx_AHao1004Y的博客
09-25 1328
ResNet（Residual Neural Network）是一种深度卷积神经网络结构，由Kaiming He等人在2015年提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。它通过使用残差块（Residual Block）来克服深度神经网络训练中的梯度消失等问题，使得网络可以更深地进行训练。
[深度学习]循环神经网络RNN
Letmooning的博客
09-27 424
【代码】[深度学习]循环神经网络。
动手学深度学习（李沐）PyTorch 第 6 章 卷积神经网络
m0_51448653的博客
10-01 540
通过下面的LeNet代码，可以看出用深度学习框架实现此类模型非常简单。我们只需要实例化一个Sequential块并将需要的层连接在一起。
深度学习与计算机视觉：CNN结构解析
"计算机视觉深度学习入门五讲：结构篇.pdf" 在计算机视觉领域，深度学习已经成为主流技术，尤其是在图像识别、目标检测、图像分割等方面取得了显著成果。本资源主要探讨了深度学习在计算机视觉中的应用，特别是关注...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王二小、

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值