机器学习和深度学习-- 李宏毅（笔记与个人理解）Day22

已于 2024-04-24 14:45:55 修改
阅读量364 收藏 2
点赞数 1
分类专栏： 机器学习与深度学习 文章标签： 深度学习 笔记 人工智能
于 2024-04-24 14:45:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65403042/article/details/138158730
版权

Day 22 Transformer

seqence to seqence

有什么用呢？

image-20240419195409787

image-20240419200600208

image-20240419200618184

image-20240419200655869

image-20240419200714492

Encoder

image-20240419200811528

image-20240419200929890

image-20240419201816447

image-20240419201856942
how Block workimage-20240419202000619

仔细讲讲Residual 的过程？

重构

image-20240419202016784

image-20240419202055831

Decoder - AutoRegressive

image-20240419202814089

image-20240419203026310

image-20240419203044694

image-20240419203125676

Mask

image-20240419203147941

image-20240419203210758

image-20240419203323124

由于是文字接龙，所以无法考虑右边的 info

image-20240419203435098

image-20240419203445328

image-20240419203517384

image-20240419203607549

image-20240419203641245
另一种decoder

image-20240419204034186

Encoder to Decoder – Cross Attend

image-20240419204156788

image-20240419204337308

image-20240419204606629

怀疑begin那里没有做 Norm是bug

image-20240419204911428

image-20240419205003779

Training

image-20240419205022013

image-20240419205132661

很像分类的问题

image-20240419205223059

image-20240419205257761

Teacher Forcing ： using the ground truth as input

Tips

image-20240419205454295

image-20240419205509670

image-20240419205543623

image-20240419205805744

how to resolve that?

image-20240419213753968
image-20240419214526024

image-20240419214840792

image-20240419215040489

image-20240419215130167

image-20240419215205131

image-20240419215259187

靴子学长
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
机器学习和深度学习 -- 李宏毅（笔记与个人理解1-6）
weixin_65403042的博客
04-05 1341
课程内容。
机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 23
weixin_65403042的博客
04-22 2063
由于self - attention 一般都是在big model 的一部分，所以，一般不会对模型造成决定性的影响， 只有当model 的输入较长的时候， 例如图中： 图片处理 ： 256 * 256 的输入，self-attention 就会得到一个 256 * 256 的平方的 矩阵；// todo 这是因为自注意力机制的目的是计算序列中每个元素对于序列中每个其他元素的注意力得分，所以我们需要一个 N×N 的矩阵来表示这些得分。和你做函数的代换法的时候 用 u 代表变量 x 的行为没什么两样啦。
机器学习和深度学习--李宏毅（笔记与个人理解）Day17
weixin_65403042的博客
04-13 1392
那么我们自然而然的认为这个厚度为64的feature map 叠起来的厚吐司 也是一个64channel 的图像；迭代为原始图像，那么下一次进行卷积的时候我们就需要64个厚度为64的fitter，也就是下面的两个64 的不同含义~ ok，打完收工。就拿上面的图片举例子，extremely case 我们取一维向量来表示（铺开），这样就会丢失一些空间的信息，例如绿色的格子和蓝色的某个格子其实是垂直的，仅仅相差一个垂直距离，但是展开为一根棍就很难找到这种关联。Flatten 拉直。
机器学习和深度学习--李宏毅 （笔记与个人理解）Day7
weixin_65403042的博客
04-06 849
个人感觉这里用多项式进行复杂函数的逼近，有一点像泰勒展开（泰勒级数）不同的点在于，这里的w 是彼此无关的，然而泰勒级数的展开式和展开点相关性极强。这里用线性代数的方法可以直接求 ，最速下降法（Gradient Descent）更有普遍性和计算机领域的意义。注意这里的做法看似简单， 但是这种思想却是贯穿机器学习始末的：用简单的抽象的函数来表示我需要解决的问题。注意： 用下标来表示某一个完整的物体的某一个部分，例如：x 表示妙蛙种子；注意：这里用上标来表示一个完整的个体的编号;how smooth?
机器学习和深度学习--李宏毅（笔记与个人理解）Day9
weixin_65403042的博客
04-10 860
（这里又想到学c的时候学到的 哈夫曼树，细节上还是有很大不同，由于它用到了树的结构，并不能完全灵活的得到最小编码举例： asdfgh 六个字母，编码出来的最长编码有1001 等，如果直接进行编码 则0 1 10 11 100 101 110，最长仅有3）；(Q（x）)，那么由于Entropy的定义， 是p（x)分布下的最小长度的编码，就不可能出现比这个编码更小的数，所以交叉熵越小，说明我们越接近p（x)分布下的最小长度的编码。（也就解释了，机器学习分类算法中，我们总是最小化交叉熵的之前的疑问）
机器学习和深度学习-- 李宏毅（笔记与个人理解）Day8
weixin_65403042的博客
04-07 701
大于1 的点在我们这个模型里被认为是不应该存在的，超过了我的值域（ps：刚刚小憩了半个小时，真管用哇，本来想不通的东西困得不行还头疼，一下子想清楚啦哈哈）今天上了一整天的课， 本来实在是更新不动了，但是看到《剑来》更新了，想一想这本书里面一直强调的成功的feature – 心性，嗯心性坚毅就好！xdm 绷不住了，学到这里的时候图书馆的朗读亭里有小姐姐唱歌了 爱的回归线 哈哈哈哈哈哈哈哈哈哈哈（那个朗读亭隔音不好，很多同学以为那个地方可以隔音），唱的还挺好听的；g（x） 是自己学出来的一个function；
机器学习和深度学习-- 李宏毅（笔记与个人理解）Day 14
weixin_65403042的博客
04-12 538
当使用非线性激活函数（如Sigmoid或Tanh）时，在输入值非常大或非常小的情况下，这些激活函数的梯度会接近于零。因此，如果在MSE损失函数的情况下，预测值与目标值之间的差异很大，经过激活函数的反向传播会产生非常小的梯度。但是Cross Entropy 两个差距很大的时候整体乘积并不会无限大 — 因为本质上描述的是两个概率分布的差异。哦 今天刚学的 ，KL散度 ，看来cross-entropy 和KL散度是等价的咯~ 我感觉我的直觉没错。这里MSE离得很远的时候会梯度消失，致使训练变得困难；
机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 13
weixin_65403042的博客
04-12 481
如果只用当前的梯度值来更新学习率，那么任何较大的梯度值都可能会导致很大的学习率变化，这可能会使得学习过程不稳定。通过使用所有过去梯度的平方的平均值，我们可以使学习率的变化更加平滑，因为这个值不会因为个别极端的梯度值而发生剧烈波动。woc 我发现这两个是差不多的思想啊，你把上面那个正则化的东西用Gradient做出来。时候的学习率，但是由图我们可以知道有时候同一个参数我们也希望起有变化率的不同取值。好吧完全不一样，但是我又不知道这个会不会对于我的……以及这个式子和之前讲的那个正则化是不是一样的呢？
机器学习和深度学习-- 李宏毅（笔记与个人理解）Day10
weixin_65403042的博客
04-10 364
这节课总体听下来比较轻松，二倍速一路刷过去了，看看明天的课还会不会这么轻松吧哈哈，期待，今天实操了一下线性回归的东西 还不错有意思~为什么over fitting 留到下下周哦~~ 期待。
李宏毅2021机器学习深度学习笔记PPT作业
09-05
《李宏毅2021机器学习深度学习笔记PPT作业》是一份涵盖了现代人工智能领域核心知识的资源，主要集中在机器学习和深度学习这两个关键分支上。这份资料可能包括了李宏毅教授在2021年课程中的讲义、课后作业以及相关的...
ML2017-笔记：李宏毅机器学习2017个人笔记
02-03
综上所述，《李宏毅机器学习2017个人笔记》是机器学习初学者和进阶者不可或缺的学习资料，它全面覆盖了机器学习的主要概念和技术，同时借助LaTeX的优雅排版，提升了学习体验。无论是为了理解基础理论，还是为了掌握...
台大-李宏毅-B站机器学习视频-课件 -Backpropagation
01-08
台大-李宏毅-B站机器学习视频-课件-Backpropagation Backpropagation是机器学习中最重要的算法之一，用于训练人工神经网络。Backpropagation算法可以分为两个阶段：Forward Pass和Backward Pass。 Forward Pass ...
动手学深度学习（Pytorch版）代码实践 -循环神经网络-55循环神经网络的从零开始实现和简洁实现
李思成的博客
07-06 293
【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-54~55循环神经网络的从零开始实现和简洁实现。
基于LSTM的股票价格预测
weixin_43415275的博客
07-02 982
本课设旨在利用LSTM（长短期记忆）网络实现股票价格预测，通过收集、预处理股票数据集，并构建预测模型进行训练与优化。实验结果显示，经过优化调整模型参数，模型在测试集上取得了较为理想的预测效果。尽管存在部分预测不准确的情况，总体而言，该模型在股票价格预测任务中表现良好，具有实际应用的潜力和效果。
卷积神经网络和Vision Transformer的对比之归纳偏置
最新发布
985小菜鸡
07-06 106
每个像素点与其他所有像素点的关系都被考虑在内，这使得ViT在处理全局特征时非常有效，特别是在复杂的图像场景中。同一个卷积核在整个图像上滑动（卷积操作），从而在不同位置上使用相同的参数。由于卷积核在图像上的滑动操作，CNN对图像的平移具有一定的不变性。由于缺乏像CNN那样的强归纳偏置，ViT需要大量的数据来学习图像的各种模式和特征。如果数据量不足，ViT的性能可能不如CNN。简单来说，CNN的归纳偏置让它在处理局部特征时更加高效和鲁棒，而ViT的全局注意力使得它在数据量充足时能更好地处理全局信息。
动手学深度学习（Pytorch版）代码实践 -循环神经网络-52文本预处理
李思成的博客
07-06 86
【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-52文本预处理。
台大-李宏毅-B站机器学习视频-课件
01-08
"该资源是台湾大学李宏毅教授在B站发布的机器学习课程相关课件，主要涉及无...李宏毅教授的课件深入浅出地介绍了深度自编码器的概念、结构及其在无监督学习中的应用，是学习机器学习特别是无监督学习方法的宝贵资源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值