林轩田机器学习基石（Machine Learning Foundations）笔记（四）

4. Feasibility of learning 机器学习的可行性

有点翻车，15 16 17听得不太懂，之后会再看看来补上

P14 4.1
探究机器学习的可行性，有些问题x和y之间的联系可以有很多种解释，比如一些所谓的“智商题”对于他们的解其实有很多种解释，那么是否可以进行机器学习呢？

P15 4.2
一些方法去推论：
训练集（D（有噪音的数据输入））和测试集（outside D）会有联系
v已知，u未知
hoeffding’s inequality ： 数据越多 u和v的差距越小
减少差距的方法：提高N：增加数据量（不大推荐增大∈）
如果N很大，那么可以说"v = u"是PAC的（probably approximately correct）

P16 4.3

从h(xn)!=yn的资料中判断得出的h和f不同的概率

因此可以把同一数据（独立同分布）里面分成训练集和测试集

如果有个算法对于每个数据集，每次都选一种h，
那么这个算法比在H集合中选不同的h的算法要差

P17 4.4

hoffi…保证有些概率上界来约束误差不会太高，证明在一定条件下，学习是可能的

只要N足够大，可以保证Eout≈Ein