第三章 一元线性回归

批量和需要劳动工时数

0 导入库&加载数据

Jupyter中文字体乱码显示问题

!apt-get install ttf-wqy-zenhei -y

导入库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import statsmodels.api as sm
from statsmodels.sandbox.regression.predstd import wls_prediction_std #计算预测的标准差和置信区间

from matplotlib.font_manager import FontProperties
font_set = FontProperties(fname=r"/usr/share/fonts/truetype/wqy/wqy-zenhei.ttc", size=16) # 解决中文乱码问题

导入数据

x = [80, 30, 50, 90, 70, 60, 120, 80, 100, 50, 40, 70, 90, 20, 110, 100, 30, 50] # 批量大小
y = [399, 121, 221, 376, 361, 224, 546, 352, 353, 157, 160, 242, 389, 113, 435, 420, 212, 268] # 劳动工时数

1 散点图

plt.scatter(x, y) # 散点图
plt.xlabel("批量大小", fontproperties=font_set)
plt.ylabel("劳动工时数", fontproperties=font_set)

观察该散点图可以得出，需要的劳工时数与批量大小呈现很强的线性关系

2 估计的回归方程

x_ = sm.add_constant(x) # 添加一列1
mo = sm.OLS(y, x_) # 最小二乘法
result = mo.fit() # 拟合数据

print(result.summary())

result.params # 参数的估计值

$$\hat{y}=28.12706767+3.90541353x$$

参数含义

${\hat{\beta }}_0$: 当批量为0时，平均工时数为28.12706767
${\hat{\beta }}_0$: 当批量每增加一个单位，劳动工时数平均增加3.90541353个单位

3 t检验

百度

step1

原假设：$H_0:{\beta }_1=0$

对立假设：$H_1:{\beta }_1\ne 0$

step2：检验统计量

$$t=\frac{{\hat{\beta }}_1}{\sqrt{{\sigma }^2/L_{x}x}}\sim t(n-2)$$

step3：检验统计量的实现值

$$t_0=\frac{{\hat{\beta }}_1}{\sqrt{{\sigma }^2/L_{x}x}}$$

step4: 得出决策

P值<0.05，拒绝原假设，认为批量大小与劳工时数的线性关系显著

4 平方和分解

print('SST', result.centered_tss ) # 总平方和
print('SSR', result.ess) # 回归平方和
print('SSE', result.ssr) # 残差平方和

$$\sum _{i=1}^n(y_i-\overline{y}{)}^2=\sum _{i=i}^n(\widehat{y_i}-y{)}^2+\sum _{i=i}^n(y-\widehat{y_i}{)}^2$$

SST = SSE + SSR

5 拟合优化

线性回归决定系数$R^2$

$$R^2=\frac{SSR}{SST}$$

(225394.43308270676 / 256936.5) 

模型拟合良好，工时数变差的87.7%能够由批量大小解释

6 F检验

原假设：$H_0:{\beta }_1=0$

对立假设：$H_1:{\beta }_1\ne 0$

检查统计量：$$F=\frac{SSR/1}{SSR/n-2}$$

(225394.43308270676/1) / (31542.066917293232/(18-2)) # n=18

拒绝原假设，批量大小和所需工时数的线性关系显著

P { F > F 0 } = P { ∣ t ∣ > t 0 } P\{F > F_0\} = P\{|t| > t_0\} P{F>F0​}=P{∣t∣>t0​}

F检验与t检验等价

1. 检验统计量关系 $F_0=t_0^2$ -> 114.3 = $10.693^2$
2. P值相等 -> P { F > F 0 } = P { ∣ t ∣ > t 0 } P\{F > F_0\} = P\{|t| > t_0\} P{F>F0​}=P{∣t∣>t0​}
3. 结论相同 -> 拒绝原假设，认为线性关系显著

7 预测

点预测&区间预测

plt.scatter(x, y, label='orgin') # 原始数据
plt.plot(x, y_fitted, c='r', label='fit') # 预测值
plt.plot(x, confidence_interval_lower, 'y--', label='lower') # 下限
plt.plot(x, confidence_interval_upper, 'g--', label='upper') # 上限
plt.xlabel("批量大小", fontproperties=font_set)
plt.ylabel("劳动工时数", fontproperties=font_set)
plt.legend()