问题引入:房价与其相关因素
面积($x_1$) | 厅室数量($x_2)$ | 价格(万元)(y) |
---|---|---|
64 | 3 | 225 |
59 | 3 | 185 |
65 | 3 | 208 |
116 | 4 | 508 |
…… | …… | …… |
我们可以将价格和面积、厅室数量的关系习得为 f ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 f(x)=\theta_0+\theta_1x_1+\theta_2x_2 f(x)=θ0+θ1x1+θ2x2,使得 f ( x ) ≈ y f(x)\approx y f(x)≈y,这就是一个直观的线性回归的样式。
线性回归就是对输入特征进行加权求和,再加上一个偏置项(截距项),并以此进行预测
设有数据集 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } \{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} {
(x1,y1),(x2,y2),...,(xn,yn)},其中, x i = ( x i 1 ; x i 2 ; x i 3 ; . . . ; x i d ) , y i ∈ R x_i = (x_{i1};x_{i2};x_{i3};...;x_{id}),y_i\in R xi=(xi1;xi2;xi3;...;xid),yi∈R
其中 n
表示变量的数量,d
表示每个变量的维度。
可以用以下函数来描述 y
和 x
之间的关系:
KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ f(x) &= \thet…
- f ( x ) f(x) f(x) 是预测值
- d d d 表示特征数量
- x i x_i xi是第 i i i个特征值
- θ j \theta_j θj 是第 j j j 个模型参数
向量化表示如下:
$ f(x) = \hat{y} = h_\theta(X) = \theta^TX$
使用均方误差作为性能度量
损失函数:
M S E ( X , h θ ) = 1 m ∑ i = 1 m ( θ T X ( i ) − y ( i ) ) 2 MSE(X, h_\theta) = \frac{1}{m} \sum\limits_{i=1}^{m}(\theta^TX^{(i)} - y^{(i)})^2 MSE(X,hθ)=m1i=1∑m(θTX(i)−y(i))2
正规方程(Normal Equation)
令
X = [ ( x ( 1 ) ) T ( x ( 2 ) ) T … ( x ( n ) ) T ] X = \left[ \begin{array} {cccc} (x^{(1)})^T\\ (x^{(2)})^T\\ \ldots \\ (x^{(n)})^T \end{array} \right] X=⎣⎢⎢⎡(x(1))T(x(2))T…(x(n))T⎦⎥⎥⎤
其中对于每一个 x ( i ) x^{(i)} x(i)
x ( i ) = [ x 1 ( i ) x 2 ( i ) … x d ( i ) ] x^{(i)} = \left[ \begin{array} {cccc} x_1^{(i)}\\ x_2^{(i)}\\ \ldots \\ x_d^{(i)} \end{array} \right]