本文介绍了线性回归的基本概念，包括如何用f(x)=θ0+θ1x1+θ2x2描述房价与面积、厅室数量的关系。讨论了正规方程和梯度下降法求解线性回归模型，详细阐述了批量梯度下降、随机梯度下降和小批量梯度下降的原理和优缺点。通过向量化表示和损失函数MSE，解释了参数更新的过程。
问题引入：房价与其相关因素
| 面积($x_1$) | 厅室数量($x_2)$ | 价格(万元)(y) |
|---|---|---|
| 64 | 3 | 225 |
| 59 | 3 | 185 |
| 65 | 3 | 208 |
| 116 | 4 | 508 |
| …… | …… | …… |
我们可以将价格和面积、厅室数量的关系习得为 f ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 f(x)=\theta_0+\theta_1x_1+\theta_2x_2 f(x)=θ0+θ1x1+θ2x2，使得 f ( x ) ≈ y f(x)\approx y f(x)≈y，这就是一个直观的线性回归的样式。
线性回归就是对输入特征进行加权求和，再加上一个偏置项(截距项），并以此进行预测
设有数据集 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } \{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} {
(x1,y1),(x2,y2),...,(xn,yn)},其中, x i = ( x i 1 ; x i 2 ; x i 3 ; . . . ; x i d ) , y i ∈ R x_i = (x_{i1};x_{i2};x_{i3};...;x_{id}),y_i\in R xi=(xi1;xi2;xi3;...;xid),yi∈R
其中 n 表示变量的数量，d 表示每个变量的维度。
可以用以下函数来描述 y 和 x 之间的关系：
KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ f(x) &= \thet…
- f ( x ) f(x) f(x) 是预测值
- d d d 表示特征数量
- x i x_i xi是第 i i i个特征值
- θ j \theta_j θj 是第 j j j 个模型参数
向量化表示如下：
$ f(x) = \hat{y} = h_\theta(X) = \theta^TX$
使用均方误差作为性能度量
损失函数：
M S E ( X , h θ ) = 1 m ∑ i = 1 m ( θ T X ( i ) − y ( i ) ) 2 MSE(X, h_\theta) = \frac{1}{m} \sum\limits_{i=1}^{m}(\theta^TX^{(i)} - y^{(i)})^2 MSE(X,hθ)=m1i=1∑m(θTX(i)−y(i))2
正规方程(Normal Equation)
令
X = [ ( x ( 1 ) ) T ( x ( 2 ) ) T … ( x ( n ) ) T ] X = \left[ \begin{array} {cccc} (x^{(1)})^T\\ (x^{(2)})^T\\ \ldots \\ (x^{(n)})^T \end{array} \right] X=⎣⎢⎢⎡(x(1))T(x(2))T…(x(n))T⎦⎥⎥⎤
其中对于每一个 x ( i ) x^{(i)} x(i)
x ( i ) = [ x 1 ( i ) x 2 ( i ) … x d ( i ) ] x^{(i)} = \left[ \begin{array} {cccc} x_1^{(i)}\\ x_2^{(i)}\\ \ldots \\ x_d^{(i)} \end{array} \right]
最低0.47元/天 解锁文章
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
