【计算机视觉】理清深度学习优化函数发展脉络

最新推荐文章于 2023-01-29 22:27:28 发布
最新推荐文章于 2023-01-29 22:27:28 发布
阅读量209 收藏
点赞数 1
分类专栏： 深度学习 计算机视觉 机器学习 文章标签： 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liufang_imei/article/details/128689264
版权

问题

深度学习中有很多优化函数，常见的那些你还记得它的定义以及优缺点吗？

背景知识

深度学习网络训练中，有很多可供选择的优化函数如SGD、Adam等等，到底用哪个好呢？其实这个问题没有确切的答案，优化函数是需要配合损失函数使用的，说白了，优化函数也是一种超参数，是需要尝试的，哪个效果好就用哪个……

这些优化函数其实差别不大，都是基于一个基本框架来演进的，所以下面先介绍下优化算法的基本框架：

１、优化算法基本框架

（记住这个框架！！！）

假设当前时刻待优化的参数为 θ t \theta_t θ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BLFaker84516
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Pytorch学习笔记】将原始数据集按照比例划分成训练集、验证集和测试集
liufang_imei的博客
11-25 2752
我们在做深度学习模型训练时，需要提前做数据预处理工作，比如有需要预先划分好训练集、验证集、测试集，为训练模型调优做一个基本的数据支撑。一般情况，训练集：验证集：测试集 = 8：1：1，按照这个比例划分。提示：以下是本篇文章正文内容，下面案例可供参考以上就是今天要讲的内容，本文仅仅简单介绍了将原始数据集按照比例划分成训练集、验证集和测试集的方法及源码，可直接使用，仅供学习参考！
深度学习优化算法演变
守得云开见月明
02-25 1662
原标题：Adam那么棒，为什么还对SGD念念不忘 （一）一个框架看懂优化算法 “ 说到优化算法，入门级必从 SGD 学起，老司机则会告诉你更好的还有AdaGrad / AdaDelta，或者直接无脑用 Adam。可是看看学术界的最新 paper，却发现一众大神还在用着入门级的 SGD，最多加个 Momentum 或者 Nesterov，还经常会黑一下 Adam。这...
深度学习基础（四）优化函数(梯度下降函数)
u010554381的博客
03-08 2918
梯度下降函数也就是优化函数，在神经网络训练过程最重要的函数。重要程度类似于调校对于汽车的重要性，搭建模型和参数设置等操作=“造好了一辆汽车”，优化函数=“调校”。因为汽车最终的操控性和加速性能等指标很大程度取决于调校，调校的好的汽车操控性非常好，而调校不好的汽车开起来很难受。而优化函数也是一样，很多情况下学习模型是正确的，但是最终训练结果不如人意，往往是因为优化函数的选择错误。 目录 一、优化...
计算机视觉应该读什么论文？从哪里开始读？一文解读
HB_id01289的博客
12-09 151
计算机视觉技术是一门包括了计算机科学与工程、神经生理学、物理学、信号处理、认知科学、应用数学与统计等多门科学学科的综合性科学技术。作为目前人工智能领域落地应用相对比较好的方向之一，计算机视觉未来的产业创新空间还是比较大的。
计算机视觉的研究热点 卷积神经网络,计算机视觉领域研究热点与前沿分析
weixin_29957761的博客
06-25 2890
兑紫璇摘要：该文基于CiteSpace并利用文献计量法，采用关键词共现网络及突现词分析，分析了计算机视觉领域国内外近十年的研究热点与研究前沿。研究结果显示，该领域的热点研究方向为图像处理、图像分割、特征提取、图像识别、三维重建等，而计算机视觉对深度学习、卷积神经网络的应用成为该领域的研究前沿趋势。关键词：CiteSpace;计算机视觉;知识图谱;文献计量法;机器视觉中图分类号：TP391 文献标识...
10_理清深度学习优化函数发展脉络1
08-03
在深度学习领域，优化函数的选择对模型的训练性能至关重要。不同的优化器有着不同的特性，适应不同的网络结构和问题。常见的优化器包括随机梯度下降(SGD)、动量优化(Momentum)、自适应梯度(AdaGrad)、根均方误差...
C++深入学习之彻底理清重载函数匹配
01-01
但通过本文将彻底理清重载函数匹配 匹配过程 为便于说明，将函数匹配分为三个阶段，确定候选函数，确定可行函数，确定最佳匹配函数。 确定候选函数 候选函数也就是和被调用的函数同名，并且其声明在调用点可见。举...
深度学习 DAY2
01-06
1.几个概念需要理清 几何间隔 函数间隔 决策边界 2.求解 通过放缩w,b，使得函数间隔变成1，转而变成最小化||w||，等价于 min 1/2*||w||,变成2次规划问题 由此可以看出，函数间隔可以取任意值，函数间隔的数值越...
深度学习入门路线.zip
最新发布
10-20
其次，"深度学习入门路线.xmind"思维导图则可能以一种视觉化的方式，将以上知识点以层次结构展现出来，帮助学习者理清深度学习的学习路径： - **基础知识**：包括数学预备知识，如线性代数、概率统计和微积分。 - *...
面试72经计算机视觉-机器学习-图像处理- C++-CV岗面试知识点及重点问答.zip
12-10
面试72经计算机视觉_机器学习_图像处理_ C++_CV岗面试知识点及...主要分为计算机视觉、机器学习、图像处理和、C++基础 四大块，每一块都有几十个问题，每个问题都会努力给出详细完整的解答，帮助你理清这些知识点细节。
Ultralytics公司YOLOv8来了(训练自己的数据集并基于NVIDIA TensorRT和华为昇腾端到端模型加速)--跟不上“卷“的节奏
liufang_imei的博客
01-12 2280
其实这里的梯度流主分支，可以是任何之前你学习过的模块，比如，美团提出的YOLOv6中就是用来重参模块RepVGGBlock来替换BottleNeck Block来作为主要的梯度流分支，而百度提出的PP-YOLOE则是使用了RepResNet-Block来替换BottleNeck Block来作为主要的梯度流分支。针对C3模块，其主要是借助CSPNet提取分流的思想，同时结合残差结构的思想，设计了所谓的C3 Block，这里的CSP主分支梯度模块为BottleNeck模块，也就是所谓的残差模块。
编译darknet报错：[obj/convolutional_layer.o] Error 1 或者[obj/convolutional_kernels.o] Error 1
liufang_imei的博客
03-26 2014
背景是：想使用多GPU训练模型 包这样的错，首先检查darknet下的Makefile是否修改正确----》三处位置 报错时的Makefile文件： 【第一处】---->多个博客是这样写的 GPU=1 CUDNN=1 OPENCV=1 OPENMP=0 DEBUG=0 【第二处】---->cuda-11.1是我自己的cuda版本，需修改成自己的安装版本 NVCC=/usr/local/cuda-11.1/bin/nvcc 【第三处】---->cuda-11.1是我自己的cuda版本，需修改
import caffe，报错Error: /usr/lib/x86_64-linux-gnu/libatk-1.0.so.0: undefined symbol: g_log_structur
liufang_imei的博客
09-10 1715
按照这个方法（https://blog.csdn.net/CAU_Ayao/article/details/83901287）修改没用，反而报新的错误 新错误为： Traceback (most recent call last): File “”, line 1, in File “/home/caffe-master/python/caffe/init.py”, line 1, in from .pycaffe import Net, SGDSolver, NesterovSolver, AdaGr
模型结构可视化神器Netron——免安装在线看
liufang_imei的博客
11-24 1649
模型结构可视化神器Netron——免安装在线看网址：https://lutzroeder.github.io/netron/，直接导入本地.onnx模型即可。 网址：https://lutzroeder.github.io/netron/，直接导入本地.onnx模型即可。
【深度学习笔记】为什么用F1-score
liufang_imei的博客
01-29 1479
F1 score 综合考虑了精确率和召回率，其结果更偏向于 Precision 和 Recall 中较小的那个，即 Precision 和 Recall 中较小的那个对 F1 score 的结果取决定性作用。F1 score是分类问题中常用的评价指标，定义为精确率（Precision）和召回率（Recall）的调和平均数。，由F1 score的计算公式可以看出，此时其结果主要受 Recall 影响。，其结果约为 0.5，而 F1 score 调和平均的结果约为 0。召回率，也称为查全率，衡量的是。
【Pytorch学习笔记】交叉熵损失函数CrossEntropyLoss的案例使用
liufang_imei的博客
11-29 1295
分类问题常用的损失函数为交叉熵（Cross Entropy Loss）。交叉熵描述了两个概率分布之间的距离，交叉熵越小说明两者之间越接近。熵是信息量的期望值，它是一个随机变量的确定性的度量。熵越大，变量的取值越不确定；反之，熵越小，变量取值就越确定。本文将使用交叉熵损失函数用作一个简单案例，代码仅供参考学习！提示：以下是本篇文章正文内容，下面案例可供参考在分类问题中用交叉熵可以更好的体现loss的同时，使其仍然是个凸函数，这对于梯度下降时的搜索很有用。
【深度学习笔记】CNN在图像上表现好的原因
liufang_imei的博客
01-18 1212
为什么这么说，因为在卷积神经网络之前，一般的网络都采用的是全连接的方式，前一层的每一个单元都对下一层的每一个单元有影响，而 CNN 中虽然存在全连接层，但是更核心的是前面用于提取特征的卷积层，一提到计算机视觉，第一反应就是 CNN ，但是大家有没有想过，为什么图像识别领域的网络结构都是使用的 CNN 呢，或者说 CNN 网络有哪些特点可以使其在图像识别领域表现良好？所以 CNN 应用的条件一般是要求卷积对象有局部相关性，这正是图像所具备的，因此图像领域都是使用 CNN 就解释地通了。
【Pytorch学习笔记】cifar10数据集转换为png图像数据集
liufang_imei的博客
11-25 1210
通常cifar10数据集下载后，我们无法查看每张图片是什么样子，本文将介绍如何使用python脚本，把cifar10数据集转化为可视化的png图片数据集。转换后的图像按照这样的规则分布：每个类别单独存放在一个文件夹，文件夹名称为0-9，一共10类。提示：以下是本篇文章正文内容，下面案例可供参考以上就是今天要讲的内容，本文仅仅简单介绍了cifar10数据集转换为png图像数据集python脚本方法步骤，仅供参考学习！
如何理清代码中函数间的关系
06-10
在代码中理清函数间的关系可以采用以下几种方法： 1. 使用注释：在代码中添加注释，说明每个函数的作用、输入、输出和调用关系。 2. 绘制流程图：使用流程图来表示函数间的调用关系和数据流动情况，有助于更直观地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BLFaker84516

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值