![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 64
雀跃的硬骨
这个作者很懒,什么都没留下…
展开
-
笔记——反向传播算法
反向传播算法为什么需要反向传播算法反向传播图解理论层面:链式法则前向通道后向通道反向传播代码作为一个逻辑很差又贼容易懵逼的菜鸟,不做笔记和经常回顾真的学不到东西,脑子一团浆糊。之前明明已经手推了反向传播算法,后面有点遗忘,再加上斯坦福 CS231n 的讲法把我讲懵了,所以必须写一篇针对我自己的理解总结笔记。反向传播公开课我只服气李宏毅!!!为什么需要反向传播算法首先!让我来捋一下!为什么...原创 2018-11-02 10:31:38 · 238 阅读 · 0 评论 -
优化算法中的超参数:学习率
优化中的梯度下降法纯粹的 SGDSGD+MomentumAdaGradRMSPropAdam理解:从 AdaGrad 到 RMSProp、Adam,用Momentum的思想一路对这些优化算法的学习率进行变形。Momentum思想:当前时刻的更新量 = β * 上一时刻更新量 + (1-β) * 当前的计算项(如梯度/梯度平方等)xt+1 = βxt + (1-β)yt改进参数:采用...原创 2018-11-16 13:38:39 · 787 阅读 · 0 评论 -
笔记——AdaBoost算法
Outline弱学习算法「提升」为强学习算法的理论依据 Adaboost 算法 Adaboost 算法的例子 Adaboost 算法的例子的实现步骤 思考 1. 弱学习算法「提升」为强学习算法的理论依据:因此新问题是「如果存在弱学习算法,那么能否把它们提升为强学习算法?」提升方法boosting:常用的统计学习方法。在分类问题中通过改变训练样本的权重,学习多个分类...原创 2018-11-23 10:04:22 · 259 阅读 · 0 评论 -
笔记——论文阅读《network in network》
在神经网络中,虽然面临着训练时间、训练难易程度的问题,但是既然更深的网络总能获得更好的效果,就不可避免深度这个问题。无论各种架构的 CNN 中创造性的提出了什么结构模块,深度都是必要条件。那么越深也就意味着能学到更多或者更好的学习到潜在特征。motivation在局部感受野中,用更复杂的 mlp增强模型的辨别力,提高抽象能力。mlp 由多层感知器组成,本身具有更强的函数逼近器的效果...原创 2018-12-05 01:49:41 · 249 阅读 · 0 评论 -
笔记——论文阅读《highway Network》
这篇论文里的吐槽点在于,连个图都没有?highway Network 解决的是深度神经网络的训练问题。文章的核心如下普通的前馈神经网络中对输入 x 进行非线性变化后为 y:本文收 LSTM 长短期记忆的启发,提出如下结构,也是本文 highway Network 的结构: 其中,T 表示 transform gate,C 表示 carry g...原创 2018-12-07 17:16:32 · 1038 阅读 · 0 评论