线性回归

线性回归

假设一组需要拟合的数据：(X1,Y1),(X2,Y2)…共N组数据，其中X0为3维的向量[X01,X02,X03]。现用简单的线性模型拟合该组数据，该模型如：z = z1x1 + z2x2 + z3*x3

最小二乘几种理解方式

• 从梯度下降出发，求最小损失
  Loss = z(X) - Y
  

Min(Loss) 出发，对zi参数求导，公式如下：

• 从解空间投影出发
  X这个解矩阵又可以分为N个列空间，对于所拟合的Y无法全部相等可以理解为不在X这个列空间内。强行将Y拟合到X列空间最直接的办法就是投影，即Y对X的列空间投影,记为Y_投影。
  
  M^法向量Y = Y - Y_投影(法向量为列空间的法向量)
  

多项式回归(和线性回归一样，可以直接最小二乘，也可以梯度下降)

对多维度数据拟合，线性组合无法精准的表达数据的分布，通过多项式方式增加拟合模型的复杂度。
问题：当多项式模型过于复杂，容易造成过拟合现象。

神经网络回归

神经网络的特殊性在于既可以做分类又可以做回归，通常做回归的时候，最后一层没有激活函数。