Machine Learning 基础
Machine Learning 步骤
整个机器学习大致可以分为4个步骤:数据分析,数据预处理,模型选择以及训练和优化。比较宏观的流程如下图所示。
栗子:Polynomial Curve Fitting
假设我们现在有一组从 f(x)=sin(2πx)+ϵ(x) 生成的数据,其中 ϵ(x)=N(x|0,β) 表示噪声。那么我们就得到原始数据为
x=(x1,x2,…,xN)T,xi∈(0,1) ,相对应的函数值 t=(t1,t2,…,tN)T 。我们要预测,一个新的数据 x~ 相对应的函数值。
我们得到的只有 x,t ,并不知道 f(x) 的形式。
数据分析(Data Analysis)
由于训练数据由输入向量与其对应的输出向量组成,因此这是一个监督学习(supervised learning)的问题,并且由于输出向量是一组连续的变量,故又可以细分成回归问题(regression)。那么我们可以用以下函数取逼近
y(x,w)=w0+w1x+w2x2+⋯+wMxM=∑Mj=0wjxj(1)
数据预处理(Preprocess)
数据预处理具有以后优点:
1. 减小输入的多变性,比如输入数据是一系列图片时,我们可能需要将这些图片转换成固定尺寸的图片
2. 加速计算,例如归一化处理,能够输入向量转换到均值为0的特征空间,从而减小划分曲面的偏置搜索
3. 其他
在curve fitting中,我们需要将输入向量转换成 X=⎡⎣⎢⎢⎢⎢⎢11⋮1x10x11⋮x1N……⋱…xM0xM1⋮xMN⎤⎦⎥⎥⎥⎥⎥
如果是在训练的时候计算 xj