优化算法【动手学深度学习V2】

最新推荐文章于 2024-10-01 20:22:14 发布
最新推荐文章于 2024-10-01 20:22:14 发布
阅读量67 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vivi_cin/article/details/130775434
版权

注：仅供学习记录

 解析：最小化f(x)，在deep learning中，f是损失函数loss，即真实值与预测值之间的损失，x即是超参数（将超参数抽成一条向量）。C可以有限制，就比如我要限制我的权重要大于等于0等等，通常C不受限为Rn。

 一般迭代算法只能找到局部最小值。

特例：

 凸函数:

 

不当菜鸡的程序媛
关注
深度学习结课总结和进阶学习 优化算法 动手学深度学习v2
AI架构师易筋
05-21 269
1. 优化算法 2. 课程总结和进阶学习 感谢沐神 参考 https://www.bilibili.com/video/BV1bP4y1p7Gq/?spm_id_from=autoNext
线性回归 + 基础优化算法 动手学深度学习v2 pytorch
AI架构师易筋
03-23 835
计算梯度是机器学习里面最贵的一部分，所以不能太小 2. 线性回归的从0开始实现 yield 表示随机的返回 学习率很小从0.003 改为0.001的情况下，loss变化很小 学习率很大从0.003 改为10的情况下，loss变化求不出来，有可能y变化是0，做除法就出现异常了。 3. 线性回归的简介实现 nn.Sequential: list of layer 参考 https://www.bilibili.com/video/BV1PX4y1...
李沐-动手学习深度学习v2
Ashley_ly的博客
11-03 1046
李沐-动手学深度学习笔记
【动手学深度学习v2笔记】线性回归 + 基础优化算法
希望你会喜欢
01-09 1841
线性回归 + 基础优化算法1 线性回归1.1 一个简单模型1.2 线性模型1.3 平方损失1.4 训练数据1.5 损失函数1.6 显式解2 基础优化算法3 线性回归的从零开始实现4 线性回归的简洁实现 1 线性回归 1.1 一个简单模型 1.2 线性模型 上图将权重层和输入层看成一层，输入层各权重均为1。 1.3 平方损失 1.4 训练数据 1.5 损失函数 argmin()函数是求当损失函数最小的时候的参数值。 1.6 显式解 方程的解可以写出y=f(x)的叫显式解，要求解的未知量
《动手学深度学习 v2》之计算性能和优化算法
qq_42889517的博客
03-16 640
12.2. 异步计算 12.3. 自动并行 12.4 硬件 单机多卡并行 12.6. 多GPU的简洁实现 优化算法 11.1. 优化和深度学习 11.2. 凸性 1.更新权重向量的优化算法 11.3. 梯度下降 11.4. 随机梯度下降 (单样本) 深度学习的 f （即 loss）是 依靠样本 模糊拟合出来的！ 11.5. 小批量随机梯度下降：平衡收敛速度和计算效率 11.6. 动量法：结合过去梯度，逐渐平滑梯度更新方向 11.7. AdaGrad算法 11.8. RMSProp
李沐 基础优化算法【动手学深度学习v2】
m0_73177878的博客
05-08 199
基础优化算法中最常见的算法为 梯度下降。不断更新w0，使其接近最优解。更新法则为等于上一时刻减去(标量，学习率)与损失函数关于的梯度的乘积。初始时t=1，表示从w0到w1的向量，再与w0相加，就得到了w1的位置。同样，接下来t=2，从w1的位置开始，先计算梯度，再走一步得到w2的位置……学习率为超参数，是需要人为指定的值。不能太小：步长有限，步数较多，计算梯度的成本较高。不能太大：导致一直在震荡，并没有真正地下降。梯度的计算复杂度，与样本的个数线性相关在训练我们的模型时，我们经常希望能够同时处理整个小批量的
动手学深度学习 v2 PDF版本
少年一贯快马扬帆，道阻且长不转弯； 要盛大，要绚烂，要哗然； 要用理想的泰坦尼克，去撞现实的冰川； 要当烧赤壁的风，而非借鉴草船； 要为了一片海，就肯翻万山。
12-30 4283
动手学深度学习 v2 PDF版本前言如何使用本书1. 深度学习简介2. 预备知识3. 深度学习基础4. 深度学习计算5. 卷积神经网络6. 循环神经网络7. 优化算法8. 计算性能9. 计算机视觉10. 自然语言处理11. 附录 前言 如何使用本书 1. 深度学习简介 2. 预备知识 3. 深度学习基础 4. 深度学习计算 keyboard_arrow_down 5. 卷积神经网络 keyboard_arrow_down 6. 循环神经网络 keyboard_arrow_down 7. 优化算法 keybo
[学习笔记]动手学深度学习v2
zhangyifeng_1995的博客
03-16 885
[学习笔记]动手学深度学习v2
《动手学深度学习》V2（00-10）
QuantumYou的博客
05-05 1063
张量表示一个由数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。首先，我们可以使用arange创建一个行向量 x。这个行向量包含以0开始的前12个整数，它们默认创建为整数numel是一个函数，用于计算数组（或矩阵）中的元素总数[要想改变一个张量的形状而不改变元素数量和元素值，可以调用reshape函数。
动手学深度学习课程作业和答案
03-21
本资源"动手学深度学习课程作业和答案"提供了一个学习深度学习的实践平台，帮助学生和研究人员巩固理论知识，提升实战技能。 在深度学习中，我们通常会涉及以下几个核心概念： 1. **神经网络**：神经网络是深度...
线性回归 + 基础优化算法【动手学深度学习v2】报错及解决办法Day1
qq_44410340的博客
09-25 266
原因是未安装ipywidgets，所以安装ipywidgets包即可。
动手学深度学习 v2 pdf
07-14
《动手学深度学习 v2》是一本介绍深度学习的教材，通过动手实践的方式帮助读者深入理解深度学习的理论和实践。这本书由李沐等人共同编写，内容包含了深度学习的基本概念、算法原理以及实际应用等方面。 这本书的...
深度学习·wandb
2301_80132162的博客
10-01 253
一个好用的可视化训练过程和调参工具，建议在深度学习中使用，语法来说更加方便。
对比学习训练是如何进行的
qq_45809323的博客
09-25 602
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
深度学习：DCGAN
Landy_Jay的博客
10-01 227
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
Pytorch-CNN轴承故障一维信号分类(二)
10-01 901
本文基于凯斯西储大学（CWRU）轴承数据，先经过数据预处理进行数据集的制作和加载，最后通过Pytorch实现CNN模型一维卷积和二维卷积对故障数据的分类，然后进行对比。
YOLO11改进|注意力机制篇|引入MLCA轻量级注意力机制
最新发布
A1983Z的博客
10-01 695
YOLO11中添加MLCA轻量级注意力机制
深度学习：迁移学习
纸上得来终觉浅
09-27 1178
迁移学习
深度学习入门：动手学PyTorch
"动手学深度学习pytorch.pdf" 是一份深度学习的学习文档，专注于通过PyTorch框架进行实践教学。该文档由AstonZhang、ZacharyC.Lipton、MuLi和AlexanderJ.Smola合作编写，内容涵盖深度学习的基础知识、PyTorch的使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值