【02】台大机器学习L6 理论归纳

【06】理论归纳

• Break Point
• Bounding Function
• VC边界

本讲讲的主要是一些理论归纳，发现听的云里雾里的。

---

Break Point 的限制作用

• 成长函数：最大的二元分类dichotomies的数目。

• Break Point的性质：
  
  上图有提到shatter，这这讲里面提到的shatter，混乱了，需要捋一下！
  【理解 shatter】根据上图提到：当k个input点输入的时候，现有的Hypo集H，不能将这些点分离出来，这个就是shatter。就像’散弹枪’一样，当有k个点的时候，你无法你的’散弹枪’碎片无法将这k个目标完好的分离出来。

• 当只知道Break Point，如何去得到成长函数的值呢？Mh
  
  

这里要注意，当k = 2 的时候，2个点被shatter的情形就如上图所示的4种情况，这个在上讲L5中讨论H的时候已经讲过：对于2个点的情况，被shatter的情形就如上图所示的。

所以，Break Point的数目，影响着最大的成长函数mh的值，对其存在着一个限制，这个限制就是下面要讲的Bound Function，受Break point的数目的影响，下面也是要进行推导

---

Bound Function

如何一步步推导的，这里做了简单的归纳介绍，具体的数学暂时就不深究了！得到了Bound Function的上限最大值。

图表：


【结果】得到了Bound Function的上限最大值。

【最终收获证明B(N,k)的不等式与二项式有关】

---

VC边界（理论）

VC理论
证明暂且略去：

具体参考beader.me的笔记

---

SUM

---

致谢

1、台大林轩田老师及其团队
2、Beader.me的机器学习笔记

​