机器学习入门（二）——机器为何能学？

机器为何能学

大数定律或 Hoeffding’ s inequality指出：样本数越大，统计值与真实值接近的概率越高。
大数定律与生活：是金子总会发光的。出来混，总是要还的。

前提一：假设空间不能过大

Hoeffding’ s inequality指出，一个假设出现乐观欺骗的概率的上限为 ：
$2exp(-2{\epsilon }^{2}N)$，
那么$M$个假设就会使这个概率增大$M$倍，即概率的上限变为了：
$2Mexp(-2{\epsilon }^{2}N)$。
为了使这个概率收敛，这就要求我们的模型不能过于复杂，即假设空间的增长速度至少小于指数级别。

如何达到呢？

对于一个假设，如果从$N$个样本开始，模型无法表示全部解的可能，那么将$N$称为Break Point，这时$N-1$就被称为Vc-dim（至于这东西怎么求，我也不知道）。
数学上可以证明，当样本数量超过Break Point时，$M$逐渐<<$2^N$。因此样本数量要充足。样本量的实际经验，$N>10\ast$Vc-dim
例如，对于线性模型，Vc-dim=特征数量+1。越复杂的模型需要越多的样本数量。

前提二：适当拟合

欠拟合与过拟合的例子与表现形式

欠拟合

如上图用一次多项式拟合正弦曲线。
原因：模型复杂度过低或样本量太少导致没有捕捉到正确的规律。

过拟合

如上图用25次多项式拟合正弦曲线。
原因：模型复杂度过大（假设空间过大）且样本数据噪音太大或数据量不足导致捕捉到了很多误差，并不是正确规律。
解决方法：正则化与校验。

正则化

限制参数平方值。
方案一：在$W^{T}W<C$的前提下求$Ein(模型对于样本量的误差)$的最小值。
方案二：求$Ein(w)+\lambda W^{T}W$的最小值。
两种方法等价，选第二种更方便。
如正则化的线性模型

校验

将数据集切分为样本集和测试集。
新的学习流程

如何解决样本数据被浪费的问题？Cross validation