7.3 多元回归分析(multiple regression)

1. 与简单线性回归区别(simple linear regression)

          多个自变量(x)

 

2. 多元回归模型

     y=β0＋β１x1+β2x2+ ... +βpxp+ε

    其中：β0，β１，β2... βp是参数

                 ε是误差值

 

3. 多元回归方程

     E(y)=β0＋β１x1+β2x2+ ... +βpxp

 

4. 估计多元回归方程:

     y_hat=b0＋b１x1+b2x2+ ... +bpxp

 

    一个样本被用来计算β0，β１，β2... βp的点估计b0, b1, b2,..., bp

 

 

5. 估计流程  (与简单线性回归类似）

6. 估计方法

    使sum of squares最小    

     

    运算与简单线性回归类似，涉及到线性代数和矩阵代数的运算

7. 例子

    一家快递公司送货：X1： 运输里程 X2： 运输次数   Y：总运输时间 

Driving  Assignment	X1=Miles  Traveled	X2=Number of Deliveries	Y= Travel Time (Hours)
1	100	4	9.3
2	50	3	4.8
3	100	4	8.9
4	100	2	6.5
5	50	2	4.2
6	80	2	6.2
7	75	3	7.4
8	65	4	6.0
9	90	3	7.6
10	90	2	6.1

Time = b0+ b1*Miles + b2 * Deliveries 

Time = -0.869 + 0.0611 Miles + 0.923 Deliveries 

8. 描述参数含义

     b0: 平均每多运送一英里，运输时间延长0.0611 小时

     b1: 平均每多一次运输，运输时间延长 0.923 小时

9. 预测

      如果一个运输任务是跑102英里，运输6次，预计多少小时？

     Time = -0.869 +0.0611 *102+ 0.923 * 6

              = 10.9 (小时）

10. 如果自变量中有分类型变量(categorical data) , 如何处理？

英里数	次数	车型	时间
100	4	1	9.3
50	3	0	4.8
100	4	1	8.9
100	2	2	6.5
50	2	2	4.2
80	2	1	6.2
75	3	1	7.4
65	4	0	6
90	3	0	7.6

11. 关于误差的分布

误差ε是一个随机变量，均值为0

ε的方差对于所有的自变量来说相等

所有ε的值是独立的

ε满足正态分布，并且通过β0＋β１x1+β2x2+ ... +βpxp反映y的期望值