集成学习Task02 作业

（1）请详细阐述线性回归模型的最小二乘法表达

最小二乘法 通过最小化误差的平方和来寻找数据的最佳函数匹配，是一种线性回归的模型，即

求解 

其解为

(2) 在线性回归模型中，极大似然估计与最小二乘法估计有什么联系和区别

假设噪声

联系：极大似然估计来计算，算出来的式子和最小二乘法估计的式子一样。在上述的假设下，极大似然估计就是最小二乘法概率上的解释。

区别：最小二乘法估计是一种优化方法，与概率无关，而极大似然估计与概率有关

(3) 为什么多项式回归在实际问题中的表现经常不是很好

多项式项数越大，多项式曲线越光滑，拟合曲线的置信区间增大，效果变差

(7) 找一个具体的数据集，只使用python和numpy来实现线性回归模型

import numpy as np
import matplotlib.pyplot as plt

# 数据
x = np.random.random(8) * 20
y = 3 * x + (1 + np.random.normal(loc=0, scale=1,size=8)) * 4

# 算法
x = x.reshape(-1, 1)
y = y.reshape(-1, 1)
w = np.dot(np.linalg.pinv(np.dot(x.T, x)), np.dot(x.T, y))
b = np.mean(y) - w * np.mean(x)

# 画图
plt.figure()
plt.scatter(x, y)
plt.plot(x, w * x + b, c='r')
plt.show()