PRML 第一章(1)

最新推荐文章于 2021-05-02 22:56:56 发布

DeepPractise

最新推荐文章于 2021-05-02 22:56:56 发布

阅读量365

点赞数

分类专栏： PRML

本文链接：https://blog.csdn.net/yhs_cy/article/details/52738590

版权

PRML 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

引言

符号说明： ${x}$ 表明 ${x}$ 是标量， $\vec{x}$ 则表明x是一个向量（通常假设为列向量）
例子：曲线拟合
假设有数据集{( ${x}^{(1)}$ , $y^{(1)}$ ),( ${x}^{(2)}$ , $y^{(2)}$ ),…,( ${x}^{(N)}$ , $y^{(N)}$ )},共有 $N$ 个数据点，希望使用多项式的方法进行数据拟合：

y (x; w ⃗) = w 0 + w 1 * x + w 2 * x 2 + . . . + w M * x M (1.1.1)

$\begin{equation} y({x};\vec{w})=w_{0}+w_{1}*x+w_{2}*x^{2}+...+w_{M}*x^{M}\tag{1.1.1} \end{equation}$
求解方法
（1）首先我们需要确定系数

M $M$ ，即确定所使用的阶数；
（2）定义误差函数

J(w⃗ ) $J(\vec{w})$ ，并且令

w⃗ opt=argmaxw⃗ J(w⃗ ) $\vec{w}_{opt}=\mathop{argmax}_{\vec{w}}J(\vec{w})$ ，求解方法可以使用最小二乘法

J (w ⃗) = E (w ⃗) = 1 2 N \sum i = 0 N (w ⃗ T * x ⃗ (i)) (1.1.2)

$\begin{equation} J(\vec{w})=E(\vec{w})=\frac{1}{2N}\sum_{i=0}^{N}(\vec{w}^{T}*\vec{x}^{(i)})\tag{1.1.2} \end{equation}$
其中

x⃗ =[1,x,x2,...,xM]T $\vec{x}=[1,x,x^{2},...,x^{M}]^{T}$

PRML中针对阶数 $M$ 的讨论

（1） $M$ 太少，即所使用的模型过于简单，容易出现欠拟合的情况；
（2） $M$ 太大，即所使用的模型过于复杂，容易出现过拟合的情况，不利于模型泛化；
有效避免由于 $M$ 太大而造成模型的泛化能力下降的方法有：
（1）增加训练数据，训练数据越多，越不容易过拟合；
（2）为误差损失函数增加正则项，该正则项的有利于提高模型的泛化能力，避免过拟合；
公式 $(1.1.2)$ 带L2正则项后为：

J (w ⃗) = E (w ⃗) = 1 2 N \sum i = 0 N (w ⃗ T * x ⃗ (i)) + λ 2 ∥ ∥ w ⃗ ∥ ∥ 2 (1.1.2)

$\begin{equation} J(\vec{w})=E(\vec{w})=\frac{1}{2N}\sum_{i=0}^{N}(\vec{w}^{T}*\vec{x}^{(i)})+\frac{\lambda}{2}\left \| \vec{w} \right \|^{2}\tag{1.1.2} \end{equation}$
其中