机器学习常见基础概念一

1 信息增益比

决策树中信息增益比大的特征优先选择

2 基尼系数基

决策树中基尼系数小的特征优先选择，和信息增益比刚好相反。尼系数代表了模型的不纯度，基尼系数越小，则不纯度越低，特征越好

3 剪枝中的正则化参数α

一般来说，α越大，则剪枝剪的越厉害，生成的最优子树相比原生决策树就越偏小。

4 鲁棒性

鲁棒性/抗变换性（英文：robustness）原是统计学中的一个专门术语，20世纪70年代初开始在控制理论的研究中流行起来，用以表征控制系统对特性或参数扰动的不敏感性。

5 残差

残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。“残差”蕴含了有关模型基本假设的重要信息。如果回归模型正确的话， 我们可以将残差看作误差的观测值。

6 协方差

协方差是衡量两个变量同时变化的变化程度。协方差大于0表示x和y若一个增，另一个也增；小于0表示一个增，一个减。如果ｘ和ｙ是统计独立的，那么二者之间的协方差就是０；但是协方差是０，并不能说明ｘ和ｙ是独立的。协方差绝对值越大，两者对彼此的影响越大，反之越小。协方差是没有单位的量，因此，如果同样的两个变量所采用的量纲发生变化，它们的协方差也会产生数值上的变化。

7 奇异矩阵

奇异矩阵是线性代数的概念，就是该矩阵的秩不是满秩。首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵。若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。

然后，再看此矩阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。 同时，由|A|≠0可知矩阵A可逆，这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。 如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解。