机器学习与智能优化 之 统计学习理论和支持向量机

要点

统计学习理论（SLT）表明了条件因而在样例学习上是成功的，也就是说，这些训练数据中的正样本对在相同概率分布下的新样本有有效的泛化能力。一致的分布是重要的：一个优秀的人类老师从来不会用一些样本来训练学生，而用完全不同的例子来测试。换句话说，样本需要反映问题。学习能力的状况指的是假设空间（我们用来学习的“带可调参数的自由机器”）必须有足够的能力在测试数据（有小的经验风险）上达到好的性能，但太强的能力会导致仅仅是简单地记住样本而不是提取问题的深度结构。自由度由VC-dimension决定。

SLT指明了从数据学习的天堂是存在的，但对于多数实际问题，并没有展示一条通往其中的可行道路，在直觉和交叉验证的指引下选择合适的核和参数是成功的关键。

深度学习和MLPs的最新研究成果打开了“特征工程”和全自动核选择的希望之门。研究还在进行，新的颠覆性的技术和相较懒惰地宣传推广智慧而言，跟随有创造力的自由思维更有前景。