学习笔记之必备知识锦囊--西瓜书-CSDN博客

本文链接：https://blog.csdn.net/weixin_45809514/article/details/131353579

模型==学习器

样例==拥有了标记信息的示例

分类：预测是离散值的学习任务

回归：预测是连续值的学习任务是

监督学习--分类和回归

无监督学习--聚类

泛化：学得模型适用于新样本的能力

独立同分布：通常假设样本空间中全体样本服从一个未知“分布”D，我们获得的每个样本都是独立地这个从这个分布上采样的获得的，

归纳：从特殊到一般的“泛化”过程，即从基础具体的事实归结出一般性规律

归纳分为狭义与广义之分，广义的归纳大体想当于从样例中学习，狭义的归纳是要求从训练数据中学得概念，因此称为概念学习或概念形成。其中概念学习中最基本的布尔概念学习，即对“是”“不是”这样的可表示为0/1布尔值的目标概念得学习。

演绎：从一般带特殊的“特化”过程，即从基础原理推演出具体状况

奥卡姆剃刀：是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一直，则选最简单的那个。

没有免费的午餐定理NFC：无论学习算法多聪明，学习算法多笨拙，他们的期望性能是一样的

错误率：通常把分类错误的样本数占样本总数的比例

精确度=1-错误率

误差：一般地，把学习器的实际输出与样本的真实输出之间的差异

训练误差或经验误差：学习器在训练集上的误差

泛化误差：在新样本上的误差

过拟合：学习器吧把训练样本学得太好了的时候，很有可能以及把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。

欠拟合：学习能力低。

评估方法：

留出法：直接把数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即D=S U T,S∩T=0,在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。

在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果，适用于初始数据量足够大时

交叉验证法：又称K折交叉验证，K最常用的是10，先将数据集D划分为K个大小相似的互斥子集，即D=D1 UD2….U DK,每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到，然后，每次利用K-1个子集的并集作为训练集，余下的那个子集作为测试集；这样就可会得K组训练/测试集，从而可进行K次训练和测试，最终返回的是这K个测试结果的均值，显然，交叉验证评估结果的稳定性和保真性在很大程度上取决于K 的取值,。适用于初始数据量足够大时与留出法相似，将数据集D划分为K个子集同样存在多种划分方式，为了减少因样本划分不同而引入的差别，K折交叉验证通常使用不太的划分重复P次，最终的结果是这P次K折交叉验证结果的均值。例如10次10折交叉验证。

自助法：直接一自助采样法为基础，给定包含m个样本的数据集D，对它进行采用尝样数据集D"：每次随机从D中挑选一个样本，将其拷贝放入D”，然后再将该样本放回初试数据集D中，使得该样本在下次采样是仍有可能被采到，这个过程重复执行M次后，就得到了包含M个样本的数据集D“。然后将D"用做训练集，D\D"用做测试集，这样实际评估的模型与期望评估的模型都使用M个训练样本，仍有1/3的，没在训练集中出现的样本用于此时，这样的测试结果称为”包外估计“

自助法数适用于据集较小，难以有效划分训练集/测试集时

性能度量

错误率：是分类错误的样本数占样本总数的比例

精度：是分类正确的样本数占样本总数的比例

对于二分类而言，非true即false

查准率（准确率）：你认为是TRUE的样本中，到底有多少个样本是真的true）

查全率（召回率）：（在预测样本中属于true的样本，你真的判断为true的有几个）

对于多分类的问题而言

precision：你认为属于类别的样本中，有多少个样本真的属于类别c

recall：测试样本中所有属于c类别的样本，你预测了多少。

查准率和查全率是一对矛盾的度量，一般来说，查准率高是查全率往往偏低。查全率高时，查准率往往偏低，