图像分类模型训练总结1

最新推荐文章于 2024-05-23 11:08:36 发布
最新推荐文章于 2024-05-23 11:08:36 发布
阅读量799 收藏
点赞数
分类专栏： 基础学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuli_xin/article/details/126954082
版权

学习率

学习率退火

在训练初始阶段使用较大的学习率，，损失函数稳定后下降学习率：

  • 按步长下降
  • 按比例下降
  • 按倒数下降

学习率升温Warmup

在训练前几轮学习率逐渐上升，直到预设的学习率，以稳定训练的初始阶段

  • 线性上升： lr_config = dict(policy=‘step’, step=[30, 60, 90])

    达到指定学习率0.1，在30个epoch时学习率下降1/10为0.01，在60个epoch时学习率下降1/10为0.001，在90个epoch时学习率下降1/10为0.0001

自适应梯度算法

  • 不同梯度需要不同的学习率
  • 根据梯度的幅度自动调整学习率：如Adagrad, ADAM, RMSProp

权重初始化

针对卷积层和全连接层，初始化连接权重 w 和 b

随机初始化
  1. 朴素方法：依照均匀分布或高斯分布
  2. Xavier方法（2010）：前传时维持激活值的方差，反传时维持梯度的方差
  3. Kaiming方法（2015）：同上，但是针对ReLU激活函数

早停

将训练数据集划分为训练集和验证集，在训练集上训练，周期性在验证集上测试。、

当验证集的loss不降反升时，停止防止过拟合。

正则化与权重衰减weight decay

  • 在损失函数中引入正则化项，以鼓励训练出相对简单的模型
  • 结构风险的梯度
  • 梯度更新策略

图像增广Data Augmentation

  • 泛化性好的模型（大量多样化的数据）
  • 数据的采集标注是有成本的
  • 数据增广（几何变换、色彩变换、随机遮挡）
  • 利用简单的随机变换，从一张图片扩充出多张图片

批归一化 Batch Normalization（2015）

  • BN一般用于卷积层：将同一通道内、不同空间位置、来自不同样本的所有响应值归为一组进行归一化
  • 应用BN的卷积层一般不需bias

不同的归一化层（Batch Norm、Layer Norm、Instance Norm、Group Norm）

总结

  • 随机梯度下降为主，各种经验策略辅助
  • 损失函数高度不规则，非凸
    • 权重初始化：Kaiming init，预训练模型
    • 优化器改进：动量SGD、自适应梯度算法
    • 学习率策略：学习率退火、学习率升温
  • 防止过拟合
    • 数据增广、早停、Dropout
  • Batch Normalization：稳定特征数据分布，降低训练难度
进阶媛小吴
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
轻量级图像分类模型-MobileNetV3阅读笔记
DU_YULIN的博客
08-07 3159
文章目录前言摘要（Abstract）1. 介绍（Introduction）2. 相关工作（Related Work）3. 高效的移动构造模块（Efficient Mobile Building Blocks）4. 网络搜索（Network Search）4.1 针对基于块的搜索的平台NAS（Platform-Aware NAS for Block-wise Search）5.总结 前言 今天开始阅读MobileNetV3这一轻量级图像分类网络模型论文，这是最初开始阅读MobileNet系列论文的目的，项目
用深度学习做图像分类任务模型训练经验
daydayup_668819的博客
12-06 5632
前言 用深度学习做图像分类任务摸索中踩了很多坑，也总结出了一些经验。现在将一些自己觉得非常实用的模型训练经验写下来作为记录，也方便后来者借鉴验证。 调参经验 模型选择 通常我会使用一个简单的CNN模型（这个模型一般包含5个卷积层）将数据扔进去训练跑出一个baseline，这一步工作主要是为了验证数据集的质量。如果这个模型训练结果很差就不要先调试模型，需要检查一下你的训练集数据，看看图像的质量，图...
Tensorflow——使用预训练模型进行 猫狗 图像分类
jmhIcoding
07-19 7064
前言 预训练模型顾名思义就是使用别人已经训练好的模型参数放到自己的任务里面进行特定任务的微调。这里的模型参数包括：神经网络的结构、神经网络的权值参数。 本博客将尝试使用预训练模型进行猫狗分类。 实验所用数据集及工具 数据集 本实验使用实验数据基于kaggle Dogs vs. Cats 竞赛提供的官方数据集，数据集可在百度网盘中进行下载： 链接：https://pan.baidu.com/s/13...
图像分类模型 ResNet（残差网络）
mengxianglong123的博客
07-08 6655
网络越深，获取的信息就越多，特征也越丰富。但是在实践中，随着网络的加深，优化效果反而越差，测试数据和训练数据的准确率反而降低了。针对这一问题，何恺明等人提出了残差网络（ResNet）在2015年的ImageNet图像识别挑战赛夺魁，并深刻影响了后来的深度神经网络的设计。假设 F(x) 代表某个只包含有两层的映射函数， x 是输入， F(x)是输出。假设他们具有相同的维度。在训练的过程中我们希望能够通过修改网络中的 w和b去拟合一个理想的 H(x)(从输入到输出的一个理想的映射函数)。也就是我们的目标是修改F
深度学习——图像分类（CNN）—训练模型
2301_76794217的博客
05-23 1396
导入必要的库，定义超参数，读取训练和测试标签CSV文件，确保标签是字符串类型，显示两个数据框的前几行以了解它们的结构，定义图像处理参数，创建图像数据生成器，设置目录路径，创建训练和验证数据生成器，构建模型，编译模型，训练模型并收集历史，绘制损失和准确率曲线，保存图表，保存模型到本地
【深度学习 走进tensorflow2.0】tensorflow2.0 如何做图像分类模型训练和预测
赖德发的博客
11-01 7984
创建一个数据集文件夹并命名（如 dataset） 在数据集文件中创建一个名称为 train 的子文件夹 在数据集文件中创建一个名称为 val 的子文件夹 在 train 文件夹中，为每个你要训练的对象创建文件夹并命名 在 val 文件夹中，为每个你要训练的对象创建文件夹并命名 把每个对象的图像放在 train 文件夹下对应名称的子文件夹，这些图像是用于训练模型的图像，为了训练出精准度较高的模型，我...
图像分类方法总结
热门推荐
学习日常分享
05-15 2万+
1. 图像分类问题描述 图像分类问题是计算机视觉领域的基础问题，它的目的是根据图像的语义信息将不同类别图像区分开来，实现最小的分类误差。具体任务要求是从给定的分类集合中给图像分配一个标签的任务。总体来说，对于单标签的图像分类问题，它可以分为跨物种语义级别的图像分类，子类细粒度图像分类，以及实例级图像分类三大类别。因为VOC数据集是不同物种类别的数据集，所以本文主要研究讨论跨物种语义级别的图像分类任务。 通常图像分类任务存在以下技术难点： （1）视角变化：同一个物体，摄像机可以从多个角度来展现。 （2）大小变
图像分割模型总结
weixin_41733381的博客
06-03 2181
由于最后一层特征图过小，有细节信息丢失，所以我们通过跳跃结构，将来自深层粗糙层的语义信息和来自浅层精细层的外观信息结合，即将较浅的特征图与对应的上采样后的特征图进行逐元素相加，以保留更丰富的细节和空间信息。其中常用的上采样方法包括反卷积和双线性插值，用于像素级别的预测，为每个像素赋予一个类别标签或分割掩码，从而实现对图像的物体分割。基于传统的计算机视觉技术和启发式规则，FCN的出现标志着深度学习在图像分割中的重要突破，它通过端到端的训练和全卷积网络的设计，实现了更准确和高效的像素级别分割。
图像分类训练技巧和精度提升总结
WK785456510的博客
08-13 7181
计算机视觉主要问题有图像分类、目标检测和图像分割等。针对图像分类任务，提升准确率的方法路线有两条，一个是模型的修改，另一个是各种数据处理和训练的技巧(tricks)。图像分类中的各种技巧对于目标检测、图像分割等任务也有很好的作用，因此值得好好总结。本文在精读论文的基础上，总结了图像分类任务的各种tricks如下： Warmup Linear scaling learning rat...
CNN图像分类模型（一）——LeNet
封狼居胥
05-30 2140
CNN图像分类模型（一）——LeNet一）LeNet模型简介二）LeNet模型简介LeNet-5网络结构2.1）输入层2.2）卷积层C12.3）池化层S22.4）卷积层C32.5）池化层S42.6）全连接层C52.7）全连接层F62.8）输出层G7 一）LeNet模型简介   LeNet-5是一种用于手写体字符识别的非常高效的卷积神经网络，自论文Gradient-Based Learning Ap...
近几年，关于基于Imagenet数据集图像分类的模型总结
微信号：RunsenLiu
08-29 3430
@Author：Runsen 在过去的几年里，许多深度学习模型涌现出来，例如层的类型、超参数等。在本系列中，我将回顾几个最显着的 deeplearn 图像分类的模型。 文章目录AlexNet （2012 ）VGG (2014)GoogleNet (2014)ResNet (2015)Inception v3 (2015)SqueezeNet （2016）DenseNet (2016)Xception (2016)ShuffleNet v2 (2018)MnasNet （2018）ResNeXt（2019）M
megengine框架的图像分类AlexNet模型(ImageNet)
10-17
总结起来，MegEngine框架为开发者提供了便捷的工具来实现和优化AlexNet模型，结合数据增强、预训练参数和GPU并行计算，可以在ImageNet这样的大规模数据集上实现高效的图像分类。通过深入理解模型结构和框架功能，...
图像分类图像分类图像分类图像分类图像分类
02-28
总结来说，这个项目主要关注的是使用Transformer模型进行图像分类，并且涉及到数据集的处理和深度学习模型的构建与训练。通过对"version_transformer.ipynb"文件的分析和实验，我们可以更深入地理解如何在图像分类...
利用Pytorch搭建简单的图像分类模型（完整模型，从读取数据到最后训练验证）
09-27
在本教程中，我们将深入探讨如何使用PyTorch框架构建一个简单的图像分类模型。PyTorch是一个流行的深度学习库，以其灵活性和易用性而受到广大开发者喜爱。在这个项目中，我们将采用ResNet（残差网络）架构，这是一种...
ResNet图像分类代码
12-30
总结一下，本项目提供了使用ResNet进行图像分类的示例，包含训练和预测两个阶段。通过研究和运行这些脚本，你可以深入了解ResNet的运作机制以及如何将其应用到实际问题中。记住，深度学习模型的成功往往依赖于数据的...
megengine框架的图像分类ResNet50模型(ImageNet)
10-17
**标题与描述解析** 标题"megengine框架的图像分类ResNet50模型(ImageNet)"指出，我们关注的是使用MegEngine深度学习框架实现的ResNet50模型，该模型...通过理解这些知识点，我们可以构建和应用自己的图像分类模型。
pi_heif-0.17.0-cp39-cp39-manylinux_2_31_armv7l.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
ubuntu20.04-ssh9.8p1-ssl3.0.14-focal-deb-amd64升级加固脚本.zip
07-27
若有新版本请查看文章最后附件地址：https://blog.csdn.net/liuxin638507/article/details/132450367 特点： 1、同时升级openssh与openssl，采用deb包形式，一键快速升级版本，无需每台单独再次进行编译， 2、隐藏openssh-版本号(openssh9.8p1及之后隐藏版本号还未找到方法) 3、已默认安全加固（已有配置跳过） 安装： 执行 bash upgrade_ssl_ssh_ubuntu.sh 进行安装 注意，升级安装后，确保sshd服务正常，请新开终端进行验证测试 验证 openssl版本： openssl version OpenSSL 3.0.14 4 Jun 2024 (Library: OpenSSL 3.0.14 4 Jun 2024) openssh版本： ssh -V OpenSSH_9.8p1, OpenSSL 3.0.14 4 Jun 2024
avif-0.5.0-cp36-cp36m-manylinux1_i686.whl
07-27
python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！
图像分类训练提升策略：关键技巧详解
总结来说，掌握这些图像分类训练中的技巧能够显著提升深度学习模型在图像分类、目标检测和图像分割任务中的表现，使得模型在面对复杂的数据和挑战时更具鲁棒性和泛化能力。理解并应用这些tricks，可以让你在实际项目...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

进阶媛小吴

规则简单易懂，粗暴却完美！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值