机器学习
7yangyang
这个作者很懒,什么都没留下…
展开
-
【机器学习】深度学习常见的优化方法(Optimizer)总结
1、GD(最速下降法):每次迭代沿着当前位置的导数的负方向记得在吴恩达的机器学习视频中提到,不需要刻意降低学习率,因为随着梯度的下降,更新后的梯度越来越小,每一步的距离越来越小。GD 算法至少有两个明显的缺陷:首先,在使用的时候, 尤其是机器学习的应用中,我们都会面临非常大的数据集。这个时候如果硬要算f(x)的导数,往往意味着我们要花几个小时把整个数据集都扫描一遍,然后还只能走一小步。一般...原创 2019-06-20 21:51:10 · 1722 阅读 · 0 评论 -
【机器学习】L1正则化L2正则化L1不可导
L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择L2正则化可以防止模型过拟合(overfitting);一定程度上,L1也可以防止过拟合L1不可导:第二境界:知道上面的proximal mamping的如何推导出结论的分段函数介绍一下上面的prox映射proximal映射是关于函数h的一个映射第三境界:知道proximal mapping在这里代表什么,知道如何...转载 2019-06-20 22:20:07 · 526 阅读 · 0 评论