《加州理工学院公开课：机器学习与数据挖掘》第2讲学习笔记

课程首先回顾了第1讲内容：

Learning（机器学习）被使用到的三个条件：
模式存在（pattern exist），无法使用精确的数学模型表达，数据。
实际情况中，如果只满足第3个条件，就是拥有数据，我们就能应用机器学习（Learning），只是结果可能会出现好坏的问题。

需要对一些概念非常熟悉：
目标函数是未知的；
数据集是已知的；
g是挑选出来的函数，h是假设的函数，被挑选出来就是g，而不是h；
H是假设的函数集，是集合。

第2讲的主要内容：Is Learning Feasible？（学习是否可行。）

本讲是论述为什么可以使用机器学习，通过已知的数据集，去解决未知数据集的问题。
提纲如下：

1. 一个关联的实验（从容器中取有色球问题）；

2. 使用Hoeffding’s inequality 去证明从容器中取出一定样本，根据样本概率可以推算整体概率（PAC：probably approximately correct）；

3. 与学习问题联系起来

更直观可以看下图：

为什么机器学习是可行的？因为二者的错误率是PAC的，只要我们保证前者小，后者也就小了。（这句话非常关键）

4. 应用到多假设的情形上：

参考：http://www.cnblogs.com/HappyAngel/p/3495804.html