ML基石_4_FeasibilityOfLearning

回顾

focus: binary classification or regression from a batch of supurvised data with concrete features.

learning is impossible

no free lunch

在对f不知情的情况下，有时候对训练集外的数据，很难说机器学到了什么。

有些情况下没有现成的pattern并不能很好的学习。

probability to the rescue

用部分去推断总体。

部分说明了整体什么信息吗
大部分情况下部分反映了总体的信息

数学上的发生几率保证
PAC: probably approximately correct

connection to learning

假设有一个固定的h在手上。
由部分推断总体g犯错的几率。

公式的保证

h(H演算法集中的一小个)可以代表总体，那么g是否可以呢？

connection to real learning

如果选择的假设在训练集上表现足够好，那么要选么？

和取样有关。
选择多了，会恶化情况。

一个h，不好的几率很小
多个h，不好的几率很大

只有像D1126才是好的资料

M finite，N large enough，那么学习是可能的。
那么，对于PCA，M是无限的，那么怎么办啊？

总结