一元线性回归及loss优化问题小的理解

一.loss优化问题
如果一个损失函数不是凸函数的话，它是无法优化的。就拿mse来说，这个loss函数一出来，它的函数值在所有区间的定义域上就为一个凸函数。所以，在自定义loss函数的时候，要想明白这个问题。
二.西瓜书一元线性回归的求解公式
西瓜书上的一元线性回归的求解是利用我们以前的另偏导直接为0解的，跟我们的高等数学求解方法是一样的。
三.利用梯度优化问题求解一元线性回归（最普通的梯度下降法）
在上面在定义损失函数的时候，已经把，loss函数定义为凸函数，所以它可以利用梯度优化方法来进行优化。其中，需要注意的是我们在优化的时候会像梯度的反方向进行优化。这主要是因为由于梯度定义问题，梯度是由所有的变量所在的坐标轴的方向来定的，由于loss函数是一个凸函数，再加上求完偏导与坐标轴正向的双重条件，以及一个向量可以用坐标轴的基向量进行表示，可以得到凸函数的梯度梯度方向是指向在当前某一点的函数值增长最快的方向，而不是指向loss函数的最小值方向。因此，在进行梯度函数的最小值优化的时候，要往梯度相反的方向进行优化。
四.平面向量可以用二维坐标基向量进行表示（可以往更高维度进行扩展）
普通的基向量只要为两个非共线的非零向量即可，在梯度下降中，基向量的方向为坐标轴，大小为坐标轴所求取的偏导大小。
要注意的根据平行四边形法则，基向量是斜边，而不是直角边。