《机器学习》第一章的知识点

机器学习–第一章知识点

首先介绍了机器学习的定义—-假设用P来评估计算机程序在某个任务Ｔ上的性能，若一个程序通过利用经验Ｅ在Ｔ中任务上获得了性能的改善，则我们说关于Ｔ、Ｐ该程序对Ｅ进行了学习。机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。
反映事件或对象在某方面的表现或性质的事项叫做属性或者特征。
属性组成的空间称为属性空间、样本空间或输入空间。
机器学习训练过程中使用的数据称为训练数据，其中的每个样本称为训练样本，训练样本组成的集合称为训练集。
关于示例结果的信息称为标记。例好瓜、坏瓜
拥有了标记信息的示例称为样例，这样其对应的学习任务就是无监督学习。反之就是监督学习。
如果我们预测结果是离散的，则此类任务称为分类。结果离散即好瓜、坏瓜
如果我们预测结果是连续的，则此类任务称为回归。连续是指好瓜（坏瓜）之间的具体那个好。两个之间给出定量的分析。即好瓜是0.93，另一个瓜是0.85。
机器学习的目标是使学得模型能很好的适应新样本，而不是仅仅的适用于训练样本上工作得很好。学得模型适用于新样本的能力成为泛化能力，具有泛化能力的模型能很好的适用于整个样本空间。
归纳和演绎是科学推理的两大基本手段，前者是从特殊到一般的泛化过程，即从具体的事实归纳出来使用一般的规律。后者是从一般到特殊的特化过程，即从基础原理推演出具体状况。例公理推到出来的一些辅助公式 ，这就是演绎。
归纳学习分为狭义和广义之分，广义的归纳学习大体相当于从样例中学习，而狭义的归纳学习要求从训练数据中学的概念，故也称为概念学习或概念形成。
假设空间
例如瓜的样本空间，假设其色泽、根蒂、敲声分别有3、3、3可能取值，则求其假设空间？

$$4*4*4+1=65$$
这里的 4 是因为也许好瓜的判定条件跟色泽无关，即无论色泽取什么都合适。
加 1 是因为或许好瓜这个概念就是不存在的，即这个概念本身就不成立。所以要加上这种情况。
版本空间是指学习过后得到的模型可能有多个或者多个训练集对应一个模型。
由于一个训练集可能产生多个版本空间，所以机器学习算法在学习过程中对某种类型假设的偏好，称为 归纳偏好简称偏好。
任何一个机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上等效的假设所迷惑，而无法产生确定的学习结果。归纳偏好可以看成学习算法在一个可能很庞大的假设空间中对假设进行选择的启发式或价值观。
奥卡姆剃刀（Occam’s razor）是一种常见的自然科学研究中最基本的原则，即“若有多个假设与观察一致，选择最简单的哪个”。类似建模中一个问题可能多个模型都可以解决但是一般推荐运用最简单的模型。 这里还存在一个问题需要思考：即如何让计算机判断哪个假设最简单？
证明对于任意两个学习算法，其总误差都是一样的。

左边是表示该域所有问题上算法ζa在训练集外上的所有误差。
P（h|X ,ζa）表示用算法ζa基于训练集X产生假设h的概率。

第三行：由于假设“真实目标函数对所有可能的 f 均匀分布”，故对所有 f 求和后，任意假设 h 的准确率期望为一半。又由于 1 在正确时取 1 反之为 0，故 (2) 式末尾对 f 的求和得到的值为假设空间个数的一半，即得 (3) 式。
第五行：即简单的概率求和，P(h|X,La) 对 h 求和当然就是 1 了。其实就是 P(A|B) 对 A 求和的形式。P(A|B)=P(A)*p(B)/P(B)=p(A)
其说明了没有免费的午餐定理（NFL）。
NFL定理有一个重要的前提就是所有问题出现的机会相同或所有问题同等重要。此外，NFL定理最重要的是让我们明白脱离具体的实际问题，空泛的谈什么样的学习算法更好毫无意义。因为若考虑所有潜在的问题，则所有的学习算法都是一样好。