训练的时候cost增加准确率降低原因

深度学习

首先： 导致这个问题的原因可能是因为学习率α的问题

如果要真正理解为什么loss 上升, 并且 准确率降低要从梯度下降算法说起

线性回归问题

因为我们是线性回归问题, 要使这条直线比较符合上边标记点的走向，因此我们要更新斜率和截距来使其更好的贴合这写标记

衡量是否是最佳贴合这些标记的直线的标准就是cost function 损失函数

这个损失函数的计算方法在这里就不做过多的解释了

但是如果当直线是这样的话 cost function 就会很大 我们的目的是为了使costfunction 损失函数降到最小值我们才能获得与其拟合的直线

拟合这条直线的方法

拟合直线的方法叫梯度下降算法, 我们画另一个图像来表示斜率对其的影响，为了简化我们把截距给去除掉只有一个参数a

y = ax

如何更新这个a 的值使其不断向最拟合这些数据靠近就需要用到梯度下降算法, 我们可以画出cost function 与a 的关系

可以知道a 在中间的时候损失函数最小这时候的a便是最拟合这条直线的斜率

但是我们会给a一个初始值比如a=1 然后开始更新a

更新a的公式就是

(a) 等于 (a) 减 (学习率) 乘以 (函数在a 等于1 时的倒数)

如果学习率很小那么他每次更新的时候就会减少小的值

但是如果学习率很大 就会导致这样的结果

会导致cost function 越来越大 准确率越来越低