机器学习之多项式拟合

实验内容

目标

掌握最小二乘法求解（无惩罚项的损失函数）、掌握加惩罚项（2范数）的损失函数优化、梯度下降法、共轭梯度法、理解过拟合、克服过拟合的方法(如加惩罚项、增加样本)

要求

1. 生成数据，加入噪声；
2. 用高阶多项式函数拟合曲线；
3. 用解析解求解两种loss的最优解（无正则项和有正则项）
4. 优化方法求解最优解（梯度下降，共轭梯度）；
5. 用你得到的实验数据，解释过拟合。
6. 用不同数据量，不同超参数，不同的多项式阶数，比较实验效果。
7. 语言不限，可以用matlab，python。求解解析解时可以利用现成的矩阵求逆。梯度下降，共轭梯度要求自己求梯度，迭代优化自己写。不许用现成的平台，例如pytorch，tensorflow的自动微分工具。

实验步骤

生成随机数据

sin(2πx) 加入高斯噪声

def generateData(x1, x2, noise, n):
    mu, sigma = 0, 0.1
    while True:
        s = np.random.normal(mu, sigma, n)
        if (abs(mu-np.mean(s)) < 0.01) & (abs(sigma - np.std(s, ddof=1)) < noise):
            break
    x = np.linspace(x1, x2, n)
    y = np.sin(2.0*math.pi*x) + s * noise
    return x, y

高阶多项式拟合

从0阶到10阶，调用polyfit函数进行拟合并绘图

trainSet = generateData(0.1, 0.9, 0.5, 10)
for degree in range(10):
    coff = polyfit(trainSet[0], trainSet[1], degree)
    my_plot = np.polyval(coff, x_plot)
    plt.plot(trainSet[0], trainSet[