![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
李宏毅深度学习
文章平均质量分 68
大yu等于2
这个作者很懒,什么都没留下…
展开
-
2021-06-20
@[TOC]类神经网络训练不出来怎么办? 1. 局部最小值与鞍点 为什么optimization会失败? 过去常见的一个猜想是,更新到了参数对Loss的微分为0的地方,gradient descent就没办法在update参数了,training就停止了。参数对Loss的微分为0的地方,最先想到的就是local minima。但不是只有local minima的gradient为0,也有其他地方会让gradient为0,比如鞍点saddle point。gradient为0的点统称为critical poi原创 2021-06-20 21:44:34 · 111 阅读 · 0 评论 -
2021-06-14
李宏毅深度学习线性模型限制及改进分段线性曲线表达 视频:深度学习基本概念简介 线性模型限制及改进 线性模型(Linear Model)很多情况下具有局限性,这种Model的限制称为Model Bias。 因此需要更复杂的,更有弹性的Model。 红色的曲线可以看作是一个常数加上一组蓝色函数。 所有分段线性曲线都可以类似表示出来。 分段线性曲线表达 分段曲线可以用sigmoid曲线进行逼近 ...原创 2021-06-14 16:40:13 · 79 阅读 · 0 评论