接下来他要讲的内容是,如何使用好这些工具。
开始的时候说了一些过拟合,欠拟合线性。
为了方便理解,来一个简化版机器学习模型。
被假设错误分类的训练样本数的和。 叫ERM
最小化。这个是最基本的学习算法。训练误差最小化。
假设类H(集合),线性分类器。 x输入只能是0和1.训练误差最小。
下面描述的是,分辨准确率。
这个被叫做联合界
Hoeffding inequality hoeffding不等式。
z随机变量。 属于Bernoulli distribution。然后就会有这个式子。
根据hoeffding 不等式得到的。
假设k个假设类。 目前只考虑有限假设类。
下面要说明圈1和圈2,两个定理。
1,一般误差很好的近似。2,ERM输出的假设的一般误差存在上界。
。下面有用到
两边1减去一下得到。
得到的结论是:在不小于某个概率的情况下,
我很懒,我就不翻译成中文了。
r和m都是给定的。
误差边界。给定m和k求r
就算是非线性可分,它的效果也是最好的。
三个结论。
这里要求m
需要了解这个结论与以前逻辑的关联。这个对后面无限假设类很有用。
本人能力有限。但是我努力把我的认知分享。到现在我已经很多都无法理解了。只能为自己留一个概念,为后面学习来些基础。