【机器学习课程-华盛顿大学】：2 回归 2.2 多元线性回归

一、一元回归分类

1、一元线性回归

y = w0 + w1*x

 

2、一元多项式回归

 

3、一元时间趋势回归（房价随着月份、季度的趋势）

   

     基本公式展开：

             

 

二、多元回归

1、示例

房价随着多个因素（房屋面积，房间数，卫生间数目，位置）等的变化

 

2、基本公式定义

     多元线性回归、多元多项式回归

  

 

3、RSS矩阵表示

（1）RSS公式

 

（2）RSS梯度：

（3）梯度求解

• 梯度=0

 

• 梯度下降

               

 

三、测试

 

• 线性模型的理解

线性模型：参数是线性的，特征可以非线性

 

• 去掉一个有效特征，对模型不一定有不好的影响？为什么？

 

 

• 原本有效的特征，再加入新特征后，原来有效的特征不一定有效？

 

 

• 其中一个特征数值扩大两倍，其他特征的系数变化吗？不变

理解：参数曲线已经画出来，假设b点特征1的数值是a点的2倍，这两种情况下其他点的系数完全不变。

 

 

• 复杂度

D=10，N=50，H下标N*D

H转置*H为：大小分别为D*N和N*D的两个矩阵相乘，乘法次数D*N*D=10*50*10=5000

 

N阶方阵求逆的复杂度为O(N^3)，另外加上H转置*H乘法次数D*N*D，则达到9的答案