机器学习
文章平均质量分 54
机器学习
久笙
这个作者很懒,什么都没留下…
展开
-
李宏毅——第一节机器学习基本概念简介
从上图我们可以看到,网络层数在1-3之间时,随着层数增加,测试集损失值在逐渐下降。但是,到第4层的时候,测试集的损失值反而上升了。深度学习中的“深度”指的是多层的神经网络。了解了单层神经网络的基本原理之后,要想实现多层神经网络就很简单了,只需要将第i层的输出作为第i+1层的输入即可实现。过拟合:模型过于复杂,学到了很多噪声,导致训练集loss下降,但是验证集loss上升。[用蓝色的点点函数(sigmoid function)表示上面的蓝色函数]3.采用梯度下降法求解使得函数表达式的Loss最小的参数。原创 2024-07-16 11:22:10 · 290 阅读 · 1 评论 -
李宏毅———类神经网络训练不起来的解决方法
w2Hesssian的取法如果遇到saddle point 还可以看Hession Hession告诉我们更新参数的方向localminima 可能在更高维度上是saddle point事实上 实验中绝大多数甚至是全部都是 saddle pointminimum ratio =正的特征值/全部特征值 最高不到0.6。原创 2024-07-17 17:18:02 · 237 阅读 · 0 评论