文章目录
多元线性回归模型(Multiple Linear Regression)
当数据的输入变量 x x x有多个特征(房屋尺寸,房间数量,房子层数,房龄),且输出变量 y y y(房屋价格)仍然为连续型时,用来拟合数据的线性模型称为多元线性回归。
一些数据标记符号
符号 | 解释 |
---|---|
x j x_{j} xj | 第j个特征 |
n n n | 特征的数量 |
x ⃗ ( i ) \vec{x}^{(i)} x(i) | 第i条数据的输入变量 |
x ⃗ j ( i ) \vec{x}^{(i)}_{j} xj(i) | 第j个特征第i条数据 |
多元线性回归模型 f f f可以写成:
f w , b ( x ) = w 1 x 1 + w 2 x 2 + w 3 x 3 + w 4 x 4 + b f_{w,b}(x)=w_{1}x_{1}+w_{2}x_{2}+w_{3}x_{3}+w_{4}x_{4}+b fw,b(x)=w1x1+w2x2+w3x3+w4x4+b向量化表示为:
f w ⃗ , b ( x ⃗ ) = w ⃗ ⋅ x ⃗ + b f_{\vec{w},b}(\vec{x})=\vec{w}\cdot \vec{x}+b fw,b(x)=w⋅x+b其中 w ⃗ = [ w 1 , w 2 , w 3 , w 4 ] , x ⃗ = [ x 1 , x 2 , x 3 , x 4 ] \vec{w}=[w_{1},w_{2},w_{3},w_{4}],\vec{x}=[x_{1},x_{2},x_{3},x_{4}] w=[w1,w2,w3,w4],x=[x1,x2,x3,x4]
向量化的好处:
- 方便表示,可以使表达式更精简,代码更简洁;
- 加速运算,因为可以并行计算(Numpy)。
运用梯度下降算法求解多元线性回归参数( w ⃗ , b \vec{w},b w,b)
求解步骤:
- 构造代价函数 J ( w ⃗ , b ) = 1 2 m ∑ i = 1 m ( f w ⃗ , b ( x ⃗ ( i ) ) − y ( i ) ) 2 J(\vec{w},b)=\frac{1}{2m}\sum_{i=1}^{m}({\color{red} f_{\vec{w},b}(\vec{x}^{(i)})} -y^{(i)})^{2} J(w,b)=2m1∑i=1m