![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
machine learning
MOFD0
这个作者很懒,什么都没留下…
展开
-
李宏毅ML-01-Gradient Descent
梯度下降 梯度下降是一种适用面很广的优化参数方法,理由偏导数对多元函数的参数迭代更新使得损失函数取得最小值。 损失函数-Loss Function 损失函数一般都使用方差来评判模型的好坏。 理论基础 比如有一个线性预测函数:f(x)=b+wxf(x)=b+wxf(x)=b+wx 我们就用方差作为Loss Function:L(f)=∑i=1n(yi−f(xi))2L(f)=\sum_{i=1}^{...原创 2019-05-12 10:54:43 · 117 阅读 · 0 评论 -
李宏毅ML-02-Where does the error come from? 误差分析
Where does the error come from? Outline 误差分析 减小误差的训练法方法 1 误差分析 1.1 两种误差 一般的,我们把误差分为两类: biasbiasbias偏差:指的是预测值的期望和真实值之间的偏差,表现了预测值的偏移程度; variancevariancevariance方差:指的是预测数据的离散程度,和真实值无关。 这两种误差分别对应着训练模型...原创 2019-05-12 15:37:10 · 168 阅读 · 0 评论 -
李宏毅ML-03-Gradient Decent 2
Gradient Descent 的技巧 可调节的学习率 常用的思想就是使得learning rate随着参数的update慢慢变小。距离极值较远的时候使用较大的的learning rate,距离极值较近的时候使用较小的learning rate。 1 Adagrad 1.1 Adagrad原理 Adagrad 给每个参数赋予不同的随时间变化的学习率。具体更新式子如下: wt+1=wt−ηtσt∂...原创 2019-05-16 07:49:49 · 156 阅读 · 0 评论