线性回归与无约束优化论基础

线性回归

高中所学的一元线性回归$y=a+bx为$了求取参数a、b的情况下，数据拟合出的直线的预测数据与原始数据的均方误差MSE
$$Q(a,b)=\sum _{i=1}^n(y_i-a-b{x}_i{)}^2$$
当MSE越小，就说明预测值越接近于真实值，即
$$Q(a,b)=mi{n}_{a,b}Q(a,b)$$
那么对于求取最小值的最直接的方法就是求一阶导数=0获取a,b；对于线性回归的核心思想其实就是找到a,b使真实值和预测值之间的误差最小
但往往在生活中伴随的预测基本都不仅仅一个变量足以概括，此时就将转变为多元线性回归问题.训练样本也随之由$(x_i(单个x),y_i)$变为$(X^{(i)},y^{(i)})$，其中
$$X^{(i)}=\left[\begin{array}{c}x{1}^{(i)}\\ x{2}^{(i)}\\ ...\end{array}\right]$$
一元线性回归试图学习的是$f(x)=wx+b$使得$f(x^{(i)})\approx y^{(i)}$
而多元线性回归试图学习的是$f(x)=W^{T}x+b$使得$f(X^{(i)})\approx y^{(i)}$（$n^T$表示参数矩阵）
多元线性回归对单行数据的求取可写作
$$f(x^{(1)})=W_T{X}^{(1)}+b=w1x_1^{(1)}+w2x_2^{(1)}+...+wd{x}_d^{(1)}+b=[x_1^{(1)},x_2^{(1)},...,x_d^{(1)},1]\ast \left[\begin{array}{c}{w}_1\\ w_2\\ .\\ .\\ .\\ w_d\\ b\end{array}\right]$$
整个数据集就可写作
[ f ( x ( 1 ) ) f ( x ( 2 ) ) f ( x ( 3 ) ) . . . f ( x ( N ) ) ] = [ [ x 1 ( 1 ) [ x 2 ( 1 ) . . . [ x d ( 1 ) 1 [ x 1 ( 2 ) [ x 2 ( 2 ) . . . [ x d ( 2 ) 1 [ x 1 ( 3 ) [ x 2 ( 3 ) . . . [ x d ( 3 ) 1 . . . . . . . . . . . . . . . [ x 1 ( N ) [ x 2 ( N ) . . . [ x d ( N ) 1 ] N ∗ ( d + 1 ) ∗ [