线性与回归知识点

1.斜率与梯度
斜率定义为在曲线在一个点的切线，梯度定义为在曲线上曲线的法线方向。

2.梯度下降方向？
为什么梯度反方向是函数值下降最快的方向？
梯度是一个方向向量，若α是函数在某点的梯度，那么函数在该点沿着α方向的变化最快；
下降的方向：由于随着越接近最小值，函数切线的斜率逐渐变小。这就是下降的方向。

3.梯度下降算法

假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。