PRML读书笔记(一)

Machine Learning 基础

Machine Learning 步骤

整个机器学习大致可以分为4个步骤：数据分析，数据预处理，模型选择以及训练和优化。比较宏观的流程如下图所示。

栗子：Polynomial Curve Fitting

假设我们现在有一组从 $f(x)=sin(2\pi x)+\epsilon(x)$ 生成的数据，其中 $\epsilon(x)=N(x|0,\beta)$ 表示噪声。那么我们就得到原始数据为

$\mathbb{x}=(x_1,x_2,\dots,x_N)^T,x_i\in(0,1)$，相对应的函数值 $\mathbb{t}=(t_1,t_2,\dots,t_N)^T$。我们要预测，一个新的数据 $\tilde{x}$ 相对应的函数值。

我们得到的只有 $\mathbb{x},\mathbb{t}$ ，并不知道 $f(x)$ 的形式。

数据分析(Data Analysis)

由于训练数据由输入向量与其对应的输出向量组成，因此这是一个监督学习(supervised learning)的问题，并且由于输出向量是一组连续的变量，故又可以细分成回归问题(regression)。那么我们可以用以下函数取逼近

$y(x,\mathbb{w})=w_0+w_1x+w_2x^2+\dots+w_Mx^M=\sum_{j=0}^{M}w_jx^j \tag{1}$

理论

数据预处理(Preprocess)

数据预处理具有以后优点：
1. 减小输入的多变性，比如输入数据是一系列图片时，我们可能需要将这些图片转换成固定尺寸的图片
2. 加速计算，例如归一化处理，能够输入向量转换到均值为0的特征空间，从而减小划分曲面的偏置搜索
3. 其他

在curve fitting中，我们需要将输入向量转换成 $X=\left[\begin{matrix}1&x_0^1&\dots&x_0^M \\ 1&x_1^1&\dots&x_1^M \\ \vdots & \vdots & \ddots & \vdots \\ 1&x_N^1&\dots&x_N^M \end{matrix}\right]$

如果是在训练的时候计算 xj