- 博客(3)
- 收藏
- 关注
RSS订阅原创 Gradient Descent专题
vector向量 gradient就是一个vector Gradient Descent tip1:learning rate learning rate的设法如上图 但是我们发现一个现象，本来应该是随着gradient的增大，我们的学习率是希望增大的，也就是图中的gt；但是与此同时随着gradient的增大，我们的分母是在逐渐增大，也就对整体学习率是减少的，这是为什么呢？ 这是因为随着我们更新次数的增大，我们是希望我们...
2021-09-29 21:31:11
57
原创 Error的影响因素
继续上一篇文章，我们可以看到，构造的最好的函数还是会产生误差，那么这些误差受什么影响呢？【bias和variance】 方差越小越集中，所以当n越大时，方差越小，则数据越集中 均值时无偏估计，方差是有偏估计 下图是对方差的估计 假如使用 y=b+w*Xcp这个模型 。给的数据不一样找到的最好的函数也不一样（w,b的值不同） 下图是100次实验，选择不同的模型会有不同的图像结果 Variance 模型越简单，方差就会越小。模型越复杂，方差就..
2021-09-29 19:54:54
61
原创 回归（Regression)
从函数集中找出最好的函数（使得损失函数的值最小） 怎么找出一对w,b是得loss值最小？那就是梯度下降的方法 找出了最好的w,b 但是这个函数预测的不准确，则选择其他的模型 二次式 三次式 四次式 五次式 Overfitting(过拟合)： 1.过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价 2. 一个假设在训练数...
2021-09-29 16:49:53
71
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人