一.线性回归
1.数学概念
线性回归是利用数理统计中的回归分析,来确定两种,或两种以上变量关系的一种统计方法。简而言之,对于输入 x x x与输出 y y y有一个映射 f f f, y = f ( x ) y = f(x) y=f(x), f f f的形式为 w x + b wx+b wx+b,其中 w , b w,b w,b为可调参数,训练 w , b w,b w,b
线性模型 y = f w ( x ) = w 0 + ∑ i = 1 n w i x i x = w T x y = f_w(x) = w_0 + \sum_{i = 1}^{n}w_ix_ix = w^Tx y=fw(x)=w0+i=1∑nwixix=wTx
x = ( 1 , x 1 , x 2 ⋅ ⋅ ⋅ ⋅ x n ) x= (1,x_1,x_2 \cdot \cdot \cdot \cdot x_n) x=(1,x1,x2⋅⋅⋅⋅xn)
2 .损失函数 loss function
min w 1 N ∑ i = 1 N L ( y i , f w ( x i ) ) \min_w \frac{1}{N}\sum_{i=1}^N \mathcal{L}(y_i,f_w(x_i)) wminN1i=1∑NL(yi,fw(xi))
M S E : L ( y i , f w ( x i ) ) = 1 2 ( y i − f w ( x i ) ) 2 MSE:\mathcal{L}(y_i,f_w(x_i)) = \frac{1}{2}(y_i - f_w(x_i))^{2} MSE: