2021-06-30

名词解释

机器学习

机器学习就是让机器自己有学习能力，能模拟人的思维方式去解决问题。

过拟合

在训练集上误差低，测试集上误差高。过拟合原因：模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，模型泛化能力太差。

欠拟合

模型在训练集上误差很高。欠拟合原因：模型过于简单，没有很好的学习到数据的普遍特征，不能很好的拟合数据。

K折交叉验证

将数据D划分为K个大小相似的互斥子集，训练K次，每次训练使用一个子集作为验证集，其他K-1个子集作为训练集。最后对K次训练误差和验证误差分别求平均

查准率

预测为正例样本中真实类别为正例的比例
P=TP/(TP+FP)

查全率

真实类别为正例的样本预测为正例的比例
R=TP/(TP+FN)

PR曲线平衡点

PR曲线上P=R的点
F1=2PR/(P+R)

真正例率

预测为正例并且预测正确的数量占真实类别为正例样本的比例
TPR=TP/(TP+FN)

假正例率

预测为正例并且预测错了的数量占真实类别为反例样本的比例
FPR=FP/(TN+FP)

AUC

ROC 曲线与横轴所围成的面积，AUC 越大，模型的分类性能就越高
ROC是以FPR为横轴，TPR为纵轴绘制的曲线

凸函数

对于一元函数fx，若fx上任意两点的割线均在曲线上方，则此函数为凸函数。凸函数具有唯一最小值，所求模型为全局最优

梯度

一个函数的全部偏导数构成的向量，梯度的方向是函数值增长最快的方向

信息增益

在划分数据集前后信息熵发生的变化。决策树中，信息增益越大的特征，选择性越好。
Gain(D) = E(D) - ΣE(D1234…)

基尼指数

反映了从D中随机抽取两个样例，其类别标记不一致的概率。基尼指数越小，数据集纯度越高。在Cart决策树中，采用基尼指数作为划分属性的准则。

预剪枝

在决策树生成过程中，对每个结点在划分先进行估计，若当前结点的划分不能带来决策树泛化能力提升，则停止划分合并将当前结点标记为叶结点。

后剪枝

先从训练集生成一颗完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。

神经网络

神经网络是由适应性的简单单元组成的广泛并行互连的网络，他的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

one-hot编码

One-Hot 编码又称为一位有效编码，主要是采用 N 位状态寄存器来对N 个状态进行编码，每个状态都有他独立的寄存器位，并且在任意时候只有一位有效。

间隔

两个异类支持向量到超平面的距离之和。

支持向量

距离超平面最近的样本点

聚类

按照某一特定标准将一个数据集分为不同的类或簇，使得同一个簇内的数据相似性大，不在同一个簇内的数据差异性大。

降维

保留重要的特征维度，去除冗余或不相关的特征。

留一法

将数据D划分为K个大小相似的互斥子集，训练K次，每次训练使用一个子集作为验证集，其他K-1个子集作为训练集。最后对K次训练误差和验证误差分别求平均