深度学习基础理论篇之机器学习基础

1.任务T

通常机器学习任务定义为机器学习系统应该如何处理样本。样本是指我们从某些希望机器学习系统处理的对象或事件中收集到的已经量化的特征的集合。我们通常会将样本表示为一个向量$x\in {\mathbb{R}}^n$,其中向量的每一个元素$x^i$是一个特征。例如，一张图片的特征通常是指这张图片的像素值。

2.交叉验证

2.1 LOOCV

首先，我们先介绍LOOCV方法，即（Leave-one-out cross-validation）。像Test set approach一样，LOOCV方法也包含将数据集分为训练集和测试集这一步骤。但是不同的是，我们现在只用一个数据作为测试集，其他的数据都作为训练集，并将此步骤重复N次（N为数据集的数据数量）。

如上图所示，假设我们现在有n个数据组成的数据集，那么LOOCV的方法就是每次取出一个数据作为测试集的唯一元素，而其他n-1个数据都作为训练集用于训练模型和调参。结果就是我们最终训练了n个模型，每次都能得到一个MSE。而计算最终test MSE则就是将这n个MSE取平均。
$$CV(n)=1/n\sum _{i=1}^{n}MS{E}_i$$

2.2 K-fold Cross Validation

最常见的折中办法叫做K折交叉验证，和LOOCV的不同在于，我们每次的测试集将不再只包含一个数据，而是多个，具体数目将根据K的选取决定。比如，如果K=5，那么我们利用五折交叉验证的步骤就是：
1.将所有数据集分成5份

2.不重复地每次取其中一份做测试集，用其他四份做训练集训练模型，之后计算该模型在测试集上的$MS{E}_i$

3.将5次的$MS{E}_i$取平均得到最后的MSE
$$C{V}_{(k)}=1/k\sum _{i=1}^{n}MS{E}_i$$
不难理解，其实LOOCV是一种特殊的K-fold Cross Validation（K=N）

2.3 极大似然估计

首先明确极大似然估计的目的：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

原理： 极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
考虑一组含有m个样本的数据集 Z = { x ( 1 ) , . . . , x ( m ) } \Z=\{x^{(1)},...,x^{(m)}\} Z={x(1),...,x(m)},样本都是独立同分布的。
似然函数： 联合概率密度函数$p(\mathbb{Z}|\theta )$称为相对于 { x ( 1 ) , . . . , x ( m ) } \{x^{(1)},...,x^{(m)}\} {x(1),...,x(m)}的θ的似然函数。
$$l(\theta )=p(\mathbb{Z}|\theta )=p(x^{(1)},...,x^{(m)}|\theta )=\prod _{i=1}^{m}p(x_i|\theta )$$.
如果${\theta }_{ml}$是参数空间中能是似然函数$l(\theta )$最大的θ值，则${\theta }_{ml}$应该是‘最可能’的参数值，那么${\theta }_{ml}$就是θ的极大似然估计量。它是样本集的函数，记作：
$${\theta }_{ml}=z(x_1,x_2,...,x_m)=z(\mathbb{Z})$$

$${\theta }_{ml}=z(x_1,x_2,...,x_m)称作极大似然函数估计值$$
在ML中：
$${\theta }_{ml}=argmax\underset{\theta }{\max }l(\theta )=argmax\underset{\theta }{\max }\prod _{i=1}^{m}p(x_i|\theta )$$
实际中为了便于分析，定义了对数似然函数：
$$H(\theta )=lnl(\theta )$$

$${\theta }_{ml}=argmax\underset{\theta }{\max }H(\theta )=argmax\underset{\theta }{\max }lnl(\theta )=argmax\underset{\theta }{\max }\prod _{i=1}^{m}lnp(x_i|\theta )$$

2.1 未知参数只有一个（θ为标量）

在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：

2.1 未知参数有多个（θ为标量）

则θ可表示为具有S个分量的未知向量：

记梯度算子：

若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解：

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。
最大似然估计举例理解：马同学