李宏毅
侃山
这个作者很懒,什么都没留下…
展开
-
李宏毅2022机器学习/深度学习 个人笔记(3)
接下来李宏毅教授介绍了梯度下降的优化方案,如采用动量、RMSProp、Learning Rate Decay、Warm Up等。接下来介绍遇到鞍点时的优化办法。接下来探讨,当optimization不佳的时候,如何判断是遇到了鞍点还是遇到了局部最小值点?而红框是一个二次型,若二次型矩阵是正定或者负定的,则可直接判断出该点是局部最小还是局部最大。本系列用于推导、记录该系列视频中本人不熟悉、或认为有价值的知识点。当然,这个方法不多用,只是介绍,顺便复习有关知识即可。关于多元函数泰勒公式,可参考。原创 2024-04-22 12:31:07 · 280 阅读 · 0 评论 -
李宏毅2022机器学习/深度学习 个人笔记(2)
假设它们之间独立,则协方差矩阵为对角矩阵,使用了Naive Bayes Classifier。可以发现,最终所求量为sigmoid(wx+b)的形式,且wx+b的形式正好说明了边界为直线。我们不一定采用高斯几率模型,也开始采用其他模型,这不是死板的。本系列用于推导、记录该系列视频中本人不熟悉、或认为有价值的知识点。如图,boundary变为直线,结果也有上升。接下来,算一下z到底是什么。原创 2024-04-21 01:15:41 · 248 阅读 · 0 评论 -
李宏毅2022机器学习/深度学习 个人笔记(1)
当维度变为七维时,协方差矩阵很大,参数很多,可能出现过拟合。如图,我们在ID<400的宝可梦中选出水系和普通系用于训练。首先估计图中所示的2个参数,使用下图右下角红框方法计算即可。先只考虑二维特征的情况,假设此时水系宝可梦的分布是二维正态分布,我们需要找到使该分布最可能符合上图状况的。有了这2个参数,我们就可以观察出任意输入被sample出的相对几率大小。有了公共协方差矩阵以后,边界也会变成直线(图放不下了),转个人笔记(2)只需找到对应参数,使似然函数。二维空间的表现不太好,也许七维空间会更好?原创 2024-04-21 01:15:19 · 298 阅读 · 0 评论