机器学习考试总结

概念掌握

1.过拟合、欠拟合

• 过拟合：本来应该学习训练样本中的普遍规律，以便在遇到新样本的时候能够做出正确的判别。但是因为学习器学的太好了，把训练样本中自身的一些特点当作了样本会具有的一般性质，导致了泛化能力的下降。通常由于学习器的学习能力过于强大，所以各类算法一般都带有针对过拟合的措施。过拟合无法避免！
• 欠拟合：通常由于学习能力低下造成，没有学到样本的普遍规律。神经网络可以通过增加训练轮次、决策树可以扩展分支来进行克服。

2.错误率、精度、查准率、查全率，测试集、验证集、训练集，留出法、交叉验证法

• 错误率：分类错误的样本占样本总数的比例。如在m个样本中有a个样本分类错误，则错误率E：
  $$E=\frac{a}{m}$$
  对于样例集D，分类错误率定义如下：其中Ⅱ(·)为指示函数，在 ‘·’ 为真和假时分别取值1，0
  $$E(F;D)=\frac{1}{m}\sum _{i=1}^mⅡ(f(x_i\ne y_i))$$
  对于数据分布D和概率密度函数p(·)，错误率定义如下：
  $$E(F;D)={\int }_{x\sim D}^{}Ⅱ(f</$$