引言
符号说明:
x
表明
x
是标量,
x⃗
则表明x是一个向量(通常假设为列向量)
例子:曲线拟合
假设有数据集{(
x(1)
,
y(1)
),(
x(2)
,
y(2)
),…,(
x(N)
,
y(N)
)},共有
N
个数据点,希望使用多项式的方法进行数据拟合:
求解方法
(1)首先我们需要确定系数 M ,即确定所使用的阶数;
(2)定义误差函数
J(w⃗ )=E(w⃗ )=12N∑i=0N(w⃗ T∗x⃗ (i))(1.1.2)
其中 x⃗ =[1,x,x2,...,xM]T
PRML中针对阶数 M 的讨论
(1)
(2)
M
太大,即所使用的模型过于复杂,容易出现过拟合的情况,不利于模型泛化;
有效避免由于
(1)增加训练数据,训练数据越多,越不容易过拟合;
(2)为误差损失函数增加正则项,该正则项的有利于提高模型的泛化能力,避免过拟合;
公式
(1.1.2)
带L2正则项后为:
J(w⃗ )=E(w⃗ )=12N∑i=0N(w⃗ T∗x⃗ (i))+λ2∥∥w⃗ ∥∥2(1.1.2)
其中 x⃗ =[1,x,x2,...,xM]T ,求解方法依然可以使用最小二乘法