深度学习
首先: 导致这个问题的原因可能是因为学习率α的问题
如果要真正理解为什么loss 上升, 并且 准确率降低要从梯度下降算法说起
线性回归问题
因为我们是线性回归问题, 要使这条直线比较符合上边标记点的走向,因此我们要更新斜率和截距来使其更好的贴合这写标记
衡量是否是最佳贴合这些标记的直线的标准就是cost function 损失函数
这个损失函数的计算方法在这里就不做过多的解释了
但是如果当直线是这样的话 cost function 就会很大 我们的目的是为了使costfunction 损失函数降到最小值我们才能获得与其拟合的直线
拟合这条直线的方法
拟合直线的方法叫梯度下降算法, 我们画另一个图像来表示斜率对其的影响,为了简化我们把截距给去除掉只有一个参数a
y = ax
如何更新这个a 的值使其不断向最拟合这些数据靠近就需要用到梯度下降算法, 我们可以画出cost function 与a 的关系
可以知道a 在中间的时候损失函数最小这时候的a便是最拟合这条直线的斜率
但是我们会给a一个初始值比如a=1 然后开始更新a
更新a的公式就是
(a) 等于 (a) 减 (学习率) 乘以 (函数在a 等于1 时的倒数)
如果学习率很小那么他每次更新的时候就会减少小的值
但是如果学习率很大 就会导致这样的结果
会导致cost function 越来越大 准确率越来越低