#这里是一些简单常见的机器学习的术语,我后续会发完整版机器学习内容的总结,这是一小部分,供大家参考#
机器学习的概念:
假设p用来评评估计算机程序在任务t上表现的性能,若利用经验e,程序在t上的表现的性能变好了,则说明程序对t进行了学习
样本:
一个数据集就是一堆样本的集合,数据集中的每一条都是一个样本。
特征:
指的就是样本的特点或属性
标签:
在有监督学习中,标签一般在数据集的最后一列,是对样本的一个分类。具体如下:
这里的样本就是编号为1-4的四个西瓜,特征就是西瓜的色泽、根蒂和敲声,标签就是这个西瓜是否是好瓜。
回归和分类任务:
若预测的是连续值,则是回归任务。用西瓜举例,预测西瓜的成熟度就是回归问题,若预测的值是离散值,则是分类任务,比如区分这个瓜是好瓜还是坏瓜,则是分类问题。
泛化能力:
训练后的模型在新样本上的适应能力
假设空间:
比如西瓜的色泽有绿和蓝两种取值,敲声有清脆和沉闷两种取值,还有情况就是西瓜的色泽或敲声取什么都合适的情况,用*表示,还有一种极端情况是根本没有好瓜这个概念,所有都属于一类则假设空间的大小就是:(2+1)×(2+1)+1=10种情况,其中第一个括号的2是绿和蓝两种情况,1是西瓜的色泽取什么都合适的情况(是*的情况),第二个括号的2是西瓜的敲声是清脆和沉闷两种情况,1是敲声取什么都合适的情况。最后一个1是上述的极端情况。
输出空间:
所有输出可能取值的集合
有监督学习:
用标记好的数据训练模型
无监督学习:
用没标记的数据训练模型
半监督学习:
因为很难搜寻到大量有标签的数据,只能搜寻到少量。因此,用少量带标签的数据和大量无标签的的数据进行训练
奥卡姆剃刀:
若有多个假设与观察一致,选择最简单的那个
正确率:
在m个样本中,有a个样本分类错误,则正确率为1-a/m
过拟合:
学习能力太过强大,以至于把训练样本自身的一些不太一般的特性都学到了,比如用树叶来训练模型,但是模型把一些特殊的树叶本身的性质当成了一般性质,比如有的树叶是带有锯齿的,机器就认为所有树叶都带有锯齿。过拟合无法彻底避免!!
欠拟合
学习能力较弱,学习不到训练样本的很多普遍的特性,训练的还不够,这个很好理解。
没有免费的午餐定理(NFL定理):
脱离具体的实际问题,空谈哪个模型的性能好坏是没有意义的,每个模型都有其优缺点,因此我们要根据实际问题去判断选取哪个模型。
误差
指的就是预测值和真实值之间的差异,这个差异可以有好多指标来评判,比如mse(均方误差)、mae(平均绝对误差)、精确度、交叉熵等。对于不同的问题,选择的误差评判指标往往不同。
训练误差:
模型在训练集上的预测值和真实值之间的差异,训练误差可以显示出模型在训练集上的表现
测试误差:
同理,模型在测试集上的预测值和真实值之间的差异
验证误差:
如果将数据集分为训练集、测试集和验证集时,验证误差的定义同上;
泛化误差:
模型在从未见过的数据上的预测值和真实值之间的差异,泛化误差越小,模型的泛化能力就越好