Deep Learning
Shane Yozhao
这个作者很懒,什么都没留下…
展开
-
深度学习中常用函数及其的导数
Table of Contents 1. 线性函数 2. 激活函数 3. softmax 函数 4. 损失函数 1.线性函数 Y = wx + b2. 激活函数 ...原创 2020-04-29 21:03:05 · 368 阅读 · 0 评论 -
指数加权平均
目录1 .什么是指数加权平均?2 . 为什么在优化算法中使用指数加权平均?3 .β 如何选择?1 .什么是指数加权平均?指数加权平均(exponentially weighted averges),也叫指数加权移动平均,是一种常用的序列数据处理方式。它的计算公式如下:其中,θ_t:为第 t 天的实际观察值, V_t: 是要代替θ_t的估计...转载 2019-11-03 19:14:26 · 1490 阅读 · 0 评论 -
解决过拟合(方差过大)
目录1 .Drop out2 . L1 -正则化3 . L2- 正则化4 . Max Norm1 .Drop out 2 . L1 -正则化可能会产生稀疏的参数,很多w的值为0.3 . L2- 正则化 主要有一个超参数,如果值很大,也就意味着W 权重越小,越接近于0(一个直观的解释,也可以证明)。如果有些权重接近...原创 2019-11-01 22:52:02 · 1983 阅读 · 0 评论