【第1章 统计学习方法概论】打卡

第1章 统计学习方法概论
高斯于1823年在误差e1 ,… , en独立同分布的假定下,证明了最小二乘方法的一个最优性质: 在所有无偏的线性估计类中,最小二乘方法是其中方差最小的！

使用最小二乘法拟和曲线
对于数据(𝑥𝑖,𝑦𝑖)(𝑖=1,2,3…,𝑚)
拟合出函数ℎ(𝑥)
有误差，即残差：𝑟𝑖=ℎ(𝑥𝑖)−𝑦𝑖
此时L2范数(残差平方和)最小时，h(x) 和 y 相似度最高，更拟合

一般的H(x)为n次的多项式，𝐻(𝑥)=𝑤0+𝑤1𝑥+𝑤2𝑥2+…𝑤𝑛𝑥𝑛
𝑤(𝑤0,𝑤1,𝑤2,…,𝑤𝑛)
为参数

最小二乘法就是要找到一组 𝑤(𝑤0,𝑤1,𝑤2,…,𝑤𝑛)
使得∑𝑛𝑖=1(ℎ(𝑥𝑖)−𝑦𝑖)2
(残差平方和) 最小

即，求 𝑚𝑖𝑛∑𝑛𝑖=1(ℎ(𝑥𝑖)−𝑦𝑖)2
举例：我们用目标函数𝑦=𝑠𝑖𝑛2𝜋𝑥