花书读书笔记（七）-深度模型中的优化

最新推荐文章于 2021-01-31 13:42:14 发布
最新推荐文章于 2021-01-31 13:42:14 发布
阅读量301 收藏 1
点赞数 1
分类专栏： # 花书读书笔记 文章标签： 深度学习 花书
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41485273/article/details/112912765
版权

全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴

一、学习和纯优化有什么不同

在大多数机器学习问题中，我们关注某些性能度量 P P P，其定义于测试集上并且可能是不可解的。因此，我们只是间接地优化 P P P。我们希望通过降低代价函数 J ( θ ) J(θ) J(θ)来提高 P P P。这一点与纯优化不同，纯优化最小化目标 J J J本身。

  • 经验风险最小化 E ( x , y ) ∼ p ^ d a t a [ L ( f ( x ; θ ) ,
最低0.47元/天 解锁文章
及时行樂_
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
花书读书笔记（六）-深度学习中的正则化
scu-liu的博客
01-19 978
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 一、参数范数惩罚 许多正则化方法通过对目标函数JJJ添加一个参数范数惩罚Ω(θ)\varOmega(\theta)Ω(θ)，限制模型（如神经网络、线性回归或逻辑回归）的学习能力。我们将正则化后的目标函数记为J^\hat JJ^：J^(θ;X,y)=J(θ;X,y)+αΩ(θ)\hat J(\theta;X,y)=J(\theta;X,y)+\alpha\varOmega(\theta)J^(θ;X,y)=J(θ;X,y)+αΩ(θ) 其中α∈[0,∞)\a
深度学习中的最优化问题讲义pdf
10-18
深度学习中的最优化问题讲义pdf
AI圣经-深度学习-读书笔记（八）-深度模型中的优化
cheertt的博客
09-17 344
这一样整理的内容非常少，以后会补上的。由于水平有限，实在看不懂。目前只是《深度学习》的第一版笔记，以后会以专栏的形式从新整理，不再是简单的摘录，更多的加上自己的思考。 深度模型中的优化 0 简介 深度学习算法在很多情况下都涉及优化。本章主要关注一类特定的优化问题：寻找神经网络上的一组参数θθ\theta ，它能显著地降低代价函数J(θ)J(θ)J(\theta)，该代价函数通常包...
Deep Learning读书笔记4---深度模型中的优化
Kuekua的专栏
09-21 5517
1. 最小化经验风险利用训练集上的经验分布,p^(x,y)\hat{p}(x,y)替代真实分布p(x,y)p(x,y)。 现在，我们将最小化经验风险： 其中mm表示训练样本的数目。2.小批量算法通常，在所有训练集上准确计算优化参数计算代价非常大，因为我们需要在整个数据集上的每个样本上评估模型。 在实践中，我们可以从数据集中随机采样少量的样本，然后计算这些样本上的平均值。 随机方法的典型示例
读书笔记--神经网络与深度学习（二）线性模型
tianyouououou的博客
07-08 796
3 线性模型 线性模型：机器学习中应用最广泛的模型，指通过样本特 征的线性组合来进行预测的模型。 本章主要介绍四种不同的线性分类模型：logistic回归，softmax回归，感知器和支持向量机，这些模型区别主要在于使用了不同的损失函数。 3.1 线性判别函数和决策边界 一个线性分类器是由一个或多个线性的判别函数和非线性的决策函数组成。 3.1.1 两类分类 两类分类：类别标签y只有两种取值。 我...
花书读书笔记（五）-深度前馈网络
scu-liu的博客
01-19 526
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 深度前馈网络（deep feedforward network），也叫作前馈神经网络（feedforward neural network）或者多层感知机（multilayer perceptron, MLP），是典型的深度学习模型。 一、实例：学习XOR 可以根据这篇文章中的视频来进行学习异或问题：白板推导系列笔记（二十三）-前馈神经网络 二、基于梯度的学习 线性模型和神经网络的最大区别，在于神经网络的非线性导致大多数我们感兴趣的代价函数都变得非凸。迭
花书读书笔记（十八）-近似推断
scu-liu的博客
01-31 238
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 《深度学习》PDF免费下载：《深度学习》 老规矩，先贴文章，里面有直达b站大佬的视频链接：白板推导系列笔记（二十五）-近似推断，他讲的还挺细，看看书再看看他讲，挺好的。 一、把推断视作优化问题 二、期望最大化 三、最大后验推断和稀疏编码 四、变分推断和变分学习 变分方法的优点是我们不需要为分布qqq设定一个特定的参数化形式。我们设定它如何分解，之后通过解决优化问题来找出在这些分解限制下最优的概率分布。对离散型潜变量来说，这意味着我们使用传统的
《深度学习》花书-读书笔记汇总贴（汇总19/19）
scu-liu的博客
01-15 2046
本文章主要用来记录学习《深度学习》（花书）的学习笔记，主要根据课本内容来，初步打算按照章节目录将知识点慢慢整理，希望能互相学习，共同提高！ 目录 第一章 前言（没啥好说的，自己看看内容就行） 第一部分 应用数学与机器学习基础 花书读书笔记（一）-线性代数（待更新） 花书读书笔记（二）-概率与信息论（待更新） 花书读书笔记（三）-数值计算（待更新） 花书读书笔记（四）-机器学习基础（待更新） 第二部分 深层网络：现代实践 花书读书笔记（五）-深度前馈网络（待更新） 花书读书笔记（六）-深度学习中的正则化（待更
花书读书笔记（八）-卷积网络
scu-liu的博客
01-21 373
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 《深度学习》PDF免费下载：《深度学习》 CNN是一种专门用来处理具有类似网格结构的数据的神经网络。 一、卷积计算 二、动机 三、池化 四、卷积与池化作为一种无限强的先验 五、基本卷积函数的变体 六、结构化输出 七、数据类型 八、高效的卷积算法 九、随机或无监督的特征 十、卷积网络的神经科学基础 ...
大模型模型架构笔记.md
09-14
文章简介： 本文演示了如何构建一个简单的卷积神经网络（CNN）用于图像分类任务，并重点介绍了如何进行超...对于初学者，建议先理解CNN模型的基本结构和工作原理，然后尝试复现示例代码，逐步熟悉深度学习的基本操作。
模型压缩与加速笔记.md
08-21
本文适合那些对深度学习模型优化、推理速度提升和资源效率感兴趣的读者。 能学到什么 通过阅读本文，您将学到以下内容： 三种关键的模型压缩与加速技术：剪枝、量化和蒸馏的基本概念和原理。 如何通过示例代码实现...
Arxiv-Daily:我的每日Arxiv阅读笔记
04-01
每日Arxiv 我每天的arxiv阅读笔记。简历（每日）20210401 最佳： 然而，到目前为止，对图像变压器的优化研究还很少。 在这项工作中，我们为图像分类建立和优化了更深的变压器网络。 这导致我们生成的模型的性能不会...
大模型生成对抗网络（GANs）课件笔记.md
08-21
阅读建议： 建议读者具备一定的深度学习和神经网络基础，理解基本的模型训练和优化概念。对于初学者，可以先了解深度学习基本原理和神经网络结构。随后，可以通过学习本文的内容和示例代码，逐步理解生成对抗网络的...
读书笔记：人工智能金融的案例——农业银行智能掌银.pdf
02-27
读书笔记：⼈⼯智能⾦融的案例 读书笔记：⼈⼯智能⾦融的案例——农业银⾏智能掌银 农业银⾏智能掌银 1、农业银⾏智能掌银简介 作为新⼀轮科技⾰命和产业变⾰的重要驱动⼒，⼈⼯智能正在对经济社会发展和⼈类⽣活产...
花书读书笔记（一）-线性代数（奇异值分解、伪逆、PCA）
scu-liu的博客
01-15 1004
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 一、标量、向量、矩阵和张量 二、矩阵和向量相乘 三、单位矩阵和逆矩阵 四、线性相关和生成子空间 五、范数 六、特殊类型的矩阵和向量 七、特征分解 以上相关概念就直接看课本了。 八、奇异值分解 奇异值分解是将矩阵AAA分解成三个矩阵的乘积： A=UDVTA=UDV^TA=UDVT 假设AAA是一个m∗nm*nm∗n的矩阵，那么UUU是一个m∗mm*mm∗m的矩阵，DDD是一个m∗nm*nm∗n的矩阵，VVV是一个n∗nn*nn∗n的矩阵。 矩阵UUU和VVV
花书读书笔记（十三）-自编码器
scu-liu的博客
01-25 419
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 《深度学习》PDF免费下载：《深度学习》 自编码器（autoencoder）是神经网络的一种，经过训练后能尝试将输入复制到输出。可以先看看这个文章里的视频：白板推导系列笔记（三十二）-变分自编码器 一、欠完备自编码器 从自编码器获得有用特征的一种方法是限制hhh的维度比xxx小，这种编码维度小于输入维度的自编码器称为欠完备（undercomplete）自编码器。 学习过程可以简单地描述为最小化一个损失函数L(x,g(f(x)))L(x,g(f(x)))L(
花书读书笔记（四）-机器学习基础
scu-liu的博客
01-18 387
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 一、学习算法 机器学习算法是一种能够从数据中学习的算法。 任务TTT 性能度量PPP 经验EEE 二、容量、过拟合和欠拟合 在先前未观测到的输入上表现良好的能力被称为泛化（generalization）。 决定机器学习算法效果是否好的因素： 降低训练误差。 缩小训练误差和测试误差的差距。 这两个因素对应机器学习的两个主要挑战：欠拟合（underfitting）和过拟合（overfitting）。欠拟合是指模型不能在训练集上获得足够低的误差。而过拟合是指
花书读书笔记（十二）-线性因子模型
scu-liu的博客
01-25 376
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 《深度学习》PDF免费下载：《深度学习》 基于潜变量的最简单的概率模型。 x=Wh+b+noisex=Wh+b+noisex=Wh+b+noise 一、概率PCA和因子分析 潜变量的先验是一个方差为单位矩阵的高斯分布h∼N(h;0,I)h\sim N(h;0,I)h∼N(h;0,I) 所以xxx也服从多维正态分布x∼N(x;b,WWT+ψ)x\sim N(x;b,WW^T+\psi)x∼N(x;b,WWT+ψ) 其中xix_ixi​为给定hhh下得一组观察
笔记本跑一宿深度学习模型
最新发布
04-17
2. 优化模型和数据：对于较大的深度学习模型，可以考虑使用更小的模型或者对模型进行剪枝，以减少计算和内存需求。此外，可以对数据进行预处理、降维等操作，以减少训练所需的资源。 3. 分布式训练：如果你有多台...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值