【Datawhale X 李宏毅苹果书 AI夏令营】深度学习基础

最新推荐文章于 2024-10-31 19:02:23 发布
最新推荐文章于 2024-10-31 19:02:23 发布
阅读量130 收藏
点赞数 1
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83185557/article/details/141503154
版权

一、临界点及其种类

1、局部最小值（local minimum）。

2、鞍点（saddle）。

3、局部最大值（local maximum）。

4、临界点（critical point），梯度为零的点统称为临界点。

二、判断临界值种类

对于既定的函数L(θ) ，给定参数θ′ ，则θ′ 附近的 L(θ) 可近似为

 这就是泰勒级数近似（Tayler series appoximation）。

三、逃离鞍点的方法

明章_26
关注
Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》
08-24
Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》
Datawhale X 李宏毅苹果书 AI夏令营 进阶班 选修笔记
09-03
运行结果
【Datawhale X 李宏毅苹果书 AI夏令营】深度学习入门&个人学习笔记
Blizzarder_的博客
08-27 329
机器学习的核心目标是让机器具备学习并找到描述数据之间关系的函数的能力。
“Datawhale X 李宏毅苹果书 AI夏令营”深度学习入门笔记Task1
m0_74851616的博客
08-25 783
例如，可将函数写为y = b + wx，y是经过预测得到的数值，x为该视频，b,w即为要求的参数，是未知的，可以通过过去的视频播放量来确定。我们将带有未知参数的函数称为模型2.定义损失函数对于给定的数据集，损失函数计算模型在整个数据集上的平均损失（或成本）。这个平均损失代表了模型性能的“好坏”，损失越小，通常意味着模型的性能越好。苹果书中写到采用均方误差（Mean SquaredError，MSE）e = (ˆy y − y)2；
Datawhale X 李宏毅苹果书 AI夏令营（Task2）
mengluohuayexuan的博客
08-27 1225
根据GPU是否可用选择设备类型# 初始化模型，并将其放置在指定的设备上# 定义批量大小# 定义训练轮数# 如果在'patience'轮中没有改进，则提前停止# 对于分类任务，我们使用交叉熵作为性能衡量标准# 初始化优化器，您可以自行调整一些超参数，如学习率。
Datawhale X 李宏毅苹果书 AI夏令营_深度学习基础学习心得
weixin_53088678的博客
08-25 250
我之前遇到过这种情况，大概是做一个数据很不平衡的二分类，正负样本比例大概为9：1，模型倾向于全部预测为正样本，没有办法学习负样本。2、3.1.1介绍了一下鞍点，鞍点的各个方向的梯度是等于零的，而我们的模型反向传播又是基于梯度的，所以到了鞍点就没有办法再让损失下降了，但是其实鞍点和局部最优又区别，鞍点并不是梯度最小的点。学习心得：感觉还是很有收获的，之前调模型可能就主要想着让损失下降，但是不求甚解，了解了最底层的逃离鞍点让损失下降的逻辑之后，对于各种算法好像有了新的认识。第二项：g代表梯度，L(
Datawhale X 李宏毅苹果书 AI夏令营-深度学习基础-Task3
少年小子的博客
09-03 416
在一个线性的的模型里面，当输入的特征，每一个维度的值，它的范围差距很大的时候，我们就可能产生像这样子的误差表面，就可能产生不同方向，斜率非常不同，坡度非常不同的误差表面所以怎么办呢，有没有可能给特征里面不同的维度，让它有同样的数值的范围。如果我们可以给不同的维度，同样的数值范围的话，那我们可能就可以制造比较好的误差表面，让训练变得比较容易一点其实有很多不同的方法，这些不同的方法往往就合起来统称为特征归一化（feature normalization）如果误差表面很崎岖，它比较难训练。
【Datawhale X 李宏毅苹果书 AI夏令营】深度学习基础 - 机器学习
weixin_53056566的博客
08-27 849
参加过了两期夏令营，本来可以直接拿着证书去申请一个实践证明美滋滋地把分加（怎么是分nu啊恼），DataWhale的人工智能教程不得不说是本人目前见过的，做得做好的，于是我跟着又报了第五期的夏令营。在训练数据（2017-2020年的数据）上，该模型的平均误差为480，即预测的观看次数与实际观看次数的平均差异约为500人。目标：假设想要预测一个视频频道未来的观看次数，以便了解频道的流量和潜在的获利能力。学习率决定了参数更新的步长，学习率大则步长大，学习率小则步长小。的值可以计算出不同参数组合下的损失值。
Datawhale X 李宏毅苹果书 AI夏令营-深度学习基础-Task1
少年小子的博客
08-27 266
在神经网络训练过程中，当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了。梯度为0时不仅仅有局部极小值，还有鞍点（梯度是零且区别于局部极小值和。），这些都被成为临界点。临界点：梯度为零的点。
Datawhale X 李宏毅苹果书 AI夏令营 Task-2
endact_00的博客
08-26 661
上图说明不同的 Loss 函数会影响训练的难易度;左图会一开始就stuck因为梯度很平坦, 右图有很明显的梯度,训练起来更稳定快速.A: 1, 2, 3 数字潜在也表达了他们之间的关系, 1和2 比较接近, 1和3 相差大, 这不能表达类别之间独立的关系;在梯度很小变化的方向上, 平方根越来越小, 导致更新突然爆炸, 跑到梯度变化大的地方, 然后又慢慢恢复到正轨上;Q: 当把模型输出的标量scaler(1, 2, 3) 当作类别处理可以吗?考虑到随着训练时间变长, 梯度总会慢慢变小, 因此可以。
Datawhale X 李宏毅苹果书 AI夏令营 深度学习进阶
m0_46685221的博客
08-26 1061
我们要了解深度学习首先得先理清楚深度学习、机器学习和人工智能之间的关系，从而知道深度学习要做什么。。因此，深度学习要做的事情也就是机器学习要做的事情，那么我们先来看机器学习要做的事情是什么。
Datawhale X 李宏毅苹果书 AI夏令营 入门班选修3
09-03
结果prediction
Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化
08-26
Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化
【深度学习】实验 — 动手实现 GPT【二】：注意力机制、注意力掩码、多头注意力机制
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-31 616
（在本书中，我们遵循机器学习和深度学习的常见惯例，即训练样本表示为行，特征值表示为列；在上面的张量中，每一行表示一个词，每一列表示一个嵌入维度。（请注意，此图中的数字已截取至小数点后两位，以减少视觉杂乱；同样，其他图中的数字也被截取。在自注意力机制中，首先计算注意力分数，随后对其进行归一化以得出总和为 1 的注意力权重。接下来，我们将推广该计算，以求得所有的注意力权重和上下文向量。然后，这些注意力权重被用于通过输入的加权求和生成上下文向量。上面我们计算了输入 2 的注意力权重和上下文向量。
深度学习案例：一步步搭建多层神经网络以及应用
STRANGEX-03的博客
10-31 330
该案例来自吴恩达深度学习系列课程一《神经网络和深度学习》第四周编程作业，一步步搭建多层神经网络以及应用，作业内容是搭建一个能够识别猫的多层的神经网络。作业提供的资料包括：训练集、测试集、测试实例、神经网络工具包、加载数据的工具包，下载请移步参考链接一。
深度学习（九）：推荐系统的新引擎（9/10）
最新发布
小相探索IT世界
10-31 1448
深度学习在推荐系统中的应用为用户带来了更智能、更个性化的推荐体验。通过与推荐系统的融合，深度学习解决了传统推荐系统在处理大规模、高维度数据时的力不从心，以及冷启动和数据稀疏等问题。在应用方式上，各种 2vec 的应用、基于神经协同过滤的推荐以及在个性化推荐系统中的特征表示学习、序列模型和嵌入模型等，都为推荐系统的准确性和个性化提供了有力支持。构建深度学习推荐系统时，需要考虑整体框架与技术选择，如大数据框架和深度学习模型的选择。同时，通过具体案例分析，可以更好地理解深度学习在推荐系统中的实际应用。
基于 GADF+Swin-CNN-GAM 的高创新扰动信号识别模型！
10-30 718
基于格拉姆矩阵GADF+Swin Transformer窗口注意力和CNN-GAM全局注意力的电能质量扰动信号识别模型!
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 628
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
深度学习之激活函数
weixin_43775295的博客
10-30 1114
PiexpθiTx∑k1KexpθiTxPi∑k1K​expθiT​xexpθiT​x​​ 其中，$ \theta_i $ 和 $ x $ 是列向量，$ \theta_i^T x $ 可能被换成函数关于 $ x $ 的函数 $ f_i(x) $​ 通过 softmax 函数，可以使得 $ P(i) $ 的范围在 $ [0,1] $ 之间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值