机器学习和深度学习-- 李宏毅（笔记与个人理解）Day10

已于 2024-04-14 12:41:36 修改
阅读量360 收藏
点赞数 2
分类专栏： 机器学习与深度学习 文章标签： 机器学习 深度学习 笔记
于 2024-04-10 21:42:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65403042/article/details/137612276
版权

Day 10 Genaral GUidance

这节课主要介绍机器学习和深度学习任务中常见的问题分类以及相应的解决之道
image-20240410211006997

image-20240410211113753

image-20240410211152581

这张图总体的概述了一个任务中的大小坎坷，不认得英文？ 去Google吧~

training Loss 不够的case

image-20240410211408162 image-20240410211434159 image-20240410211505003 image-20240410211516787 image-20240410211707609 image-20240410211727753 image-20240410211845858

Loss on Testing data

over fitting

image-20240410212037792

image-20240410212130469

为什么over fitting 留到下下周哦~~ 期待

solve

image-20240410212228240 image-20240410212355054 image-20240410212445945

CNN卷积神经网络

Bias-Conplexiy Trade off

image-20240410212650678 image-20240410212842629

cross Validation

image-20240410213318374

how to split?

N-fold Cross Validation

image-20240410213510364

mismatch

image-20240410213811197

这节课总体听下来比较轻松，二倍速一路刷过去了，看看明天的课还会不会这么轻松吧哈哈，期待，今天实操了一下线性回归的东西 还不错有意思~

靴子学长
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
机器学习和深度学习 -- 李宏毅（笔记与个人理解1-6）
weixin_65403042的博客
04-05 1248
课程内容。
机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 23
weixin_65403042的博客
04-22 2057
由于self - attention 一般都是在big model 的一部分，所以，一般不会对模型造成决定性的影响， 只有当model 的输入较长的时候， 例如图中： 图片处理 ： 256 * 256 的输入，self-attention 就会得到一个 256 * 256 的平方的 矩阵；// todo 这是因为自注意力机制的目的是计算序列中每个元素对于序列中每个其他元素的注意力得分，所以我们需要一个 N×N 的矩阵来表示这些得分。和你做函数的代换法的时候 用 u 代表变量 x 的行为没什么两样啦。
机器学习和深度学习--李宏毅（笔记与个人理解）Day17
weixin_65403042的博客
04-13 1386
那么我们自然而然的认为这个厚度为64的feature map 叠起来的厚吐司 也是一个64channel 的图像；迭代为原始图像，那么下一次进行卷积的时候我们就需要64个厚度为64的fitter，也就是下面的两个64 的不同含义~ ok，打完收工。就拿上面的图片举例子，extremely case 我们取一维向量来表示（铺开），这样就会丢失一些空间的信息，例如绿色的格子和蓝色的某个格子其实是垂直的，仅仅相差一个垂直距离，但是展开为一根棍就很难找到这种关联。Flatten 拉直。
机器学习和深度学习--李宏毅 （笔记与个人理解）Day7
weixin_65403042的博客
04-06 845
个人感觉这里用多项式进行复杂函数的逼近，有一点像泰勒展开（泰勒级数）不同的点在于，这里的w 是彼此无关的，然而泰勒级数的展开式和展开点相关性极强。这里用线性代数的方法可以直接求 ，最速下降法（Gradient Descent）更有普遍性和计算机领域的意义。注意这里的做法看似简单， 但是这种思想却是贯穿机器学习始末的：用简单的抽象的函数来表示我需要解决的问题。注意： 用下标来表示某一个完整的物体的某一个部分，例如：x 表示妙蛙种子；注意：这里用上标来表示一个完整的个体的编号;how smooth?
机器学习和深度学习--李宏毅（笔记与个人理解）Day9
weixin_65403042的博客
04-10 853
（这里又想到学c的时候学到的 哈夫曼树，细节上还是有很大不同，由于它用到了树的结构，并不能完全灵活的得到最小编码举例： asdfgh 六个字母，编码出来的最长编码有1001 等，如果直接进行编码 则0 1 10 11 100 101 110，最长仅有3）；(Q（x）)，那么由于Entropy的定义， 是p（x)分布下的最小长度的编码，就不可能出现比这个编码更小的数，所以交叉熵越小，说明我们越接近p（x)分布下的最小长度的编码。（也就解释了，机器学习分类算法中，我们总是最小化交叉熵的之前的疑问）
机器学习和深度学习-- 李宏毅（笔记与个人理解）Day8
weixin_65403042的博客
04-07 696
大于1 的点在我们这个模型里被认为是不应该存在的，超过了我的值域（ps：刚刚小憩了半个小时，真管用哇，本来想不通的东西困得不行还头疼，一下子想清楚啦哈哈）今天上了一整天的课， 本来实在是更新不动了，但是看到《剑来》更新了，想一想这本书里面一直强调的成功的feature – 心性，嗯心性坚毅就好！xdm 绷不住了，学到这里的时候图书馆的朗读亭里有小姐姐唱歌了 爱的回归线 哈哈哈哈哈哈哈哈哈哈哈（那个朗读亭隔音不好，很多同学以为那个地方可以隔音），唱的还挺好听的；g（x） 是自己学出来的一个function；
机器学习和深度学习-- 李宏毅（笔记与个人理解）Day 14
weixin_65403042的博客
04-12 533
当使用非线性激活函数（如Sigmoid或Tanh）时，在输入值非常大或非常小的情况下，这些激活函数的梯度会接近于零。因此，如果在MSE损失函数的情况下，预测值与目标值之间的差异很大，经过激活函数的反向传播会产生非常小的梯度。但是Cross Entropy 两个差距很大的时候整体乘积并不会无限大 — 因为本质上描述的是两个概率分布的差异。哦 今天刚学的 ，KL散度 ，看来cross-entropy 和KL散度是等价的咯~ 我感觉我的直觉没错。这里MSE离得很远的时候会梯度消失，致使训练变得困难；
机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 13
weixin_65403042的博客
04-12 476
如果只用当前的梯度值来更新学习率，那么任何较大的梯度值都可能会导致很大的学习率变化，这可能会使得学习过程不稳定。通过使用所有过去梯度的平方的平均值，我们可以使学习率的变化更加平滑，因为这个值不会因为个别极端的梯度值而发生剧烈波动。woc 我发现这两个是差不多的思想啊，你把上面那个正则化的东西用Gradient做出来。时候的学习率，但是由图我们可以知道有时候同一个参数我们也希望起有变化率的不同取值。好吧完全不一样，但是我又不知道这个会不会对于我的……以及这个式子和之前讲的那个正则化是不是一样的呢？
机器学习和深度学习--李宏毅 （笔记与个人理解）Day 16
weixin_65403042的博客
04-14 251
这里说dl 会提供一个足够大的模型， 来使得Dall loss 足够小，但是从这里没有看出来deepLearning 更好呀，这不是还是需要一个big training data 嘛。同样的function 参数较少 – 以为着较少的over fitting and less training data。最近在减重， 昨天跑了个一公里，然后今天上午又打了个篮球，真是老胳膊老腿了，运动完给我困得不行。Review 见前面的笔记。
台大-李宏毅-B站机器学习视频-课件 -Backpropagation
01-08
台大-李宏毅-B站机器学习视频-课件-Backpropagation Backpropagation是机器学习中最重要的算法之一，用于训练人工神经网络。Backpropagation算法可以分为两个阶段：Forward Pass和Backward Pass。 Forward Pass ...
一天搞懂深度学习--李宏毅.zip
05-16
一天搞懂深度学习--台湾大学电机工程学助理教授李宏毅讲义pdf
李宏毅2021机器学习深度学习笔记PPT作业
09-05
李宏毅2021机器学习深度学习笔记PPT作业
线性代数|机器学习-P15矩阵A的低秩变换下的逆矩阵
scar2016的博客
06-17 518
假设我们有一个单位矩阵I，列向量u,v那么当我们对单位向量I减去秩为1的矩阵后，其逆等于多少？
【Python】深入了解聚类：从原理到实践
2333333
06-17 526
聚类是一种将数据点分组的技术，其目标是最大化组内数据点的相似性，最小化组间数据点的相似性。与监督学习不同，聚类不依赖于已标记的数据，而是根据数据本身的特征进行分组。
【机器学习】基于顺序到顺序Transformer机器翻译
MUKAMO的博客
06-17 901
本文深入探讨了序列到序列(Seq2Seq)模型和Transformer架构在机器翻译任务中的应用。通过编码器和解码器的工作流程，Seq2Seq模型有效处理了不同长度的序列转换问题。Transformer模型以其自注意力机制和并行处理能力，在处理长距离依赖时表现卓越。文中还介绍了模型的实现细节、数据预处理、向量化、模型训练和序列解码的完整流程。
AI存储解决案例分享
最新发布
存储随笔
06-17 512
阿里云利用对象存储 OSS 的能力，构建统一的数据湖存储，利用对象存储 OSS 的海量扩展、低成本的存储能力，搭建 AI 场景数据存储底座。AI应用程序在处理大规模数据集和复杂模型训练时，往往展现出独特的IO模型，特别是当提到"数百万个小IO读写操作"时，AI工作负载，尤其是在深度学习训练阶段，经常涉及对大量小块数据的频繁读取和写入操作。分层存储：采用多层次存储方案，将频繁访问的数据或活跃数据缓存在高速存储（如SSD）中，而较少访问的数据则存储在低成本但容量大的存储（如HDD）中。
线性回归预测PM2.5----台大李宏毅机器学习作业1(HW1)
05-25
好的，这是一个经典的机器学习问题。以下是实现线性回归预测PM2.5的步骤： 1. 数据准备：从台湾环境保护署所提供的空气品质观测数据中，选取12个月份的每天24小时的资料，总共有12*24=288个数据点。每个数据点包含...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值