概念掌握
1.过拟合、欠拟合
- 过拟合:本来应该学习训练样本中的普遍规律,以便在遇到新样本的时候能够做出正确的判别。但是因为学习器学的太好了,把训练样本中自身的一些特点当作了样本会具有的一般性质,导致了泛化能力的下降。通常由于学习器的学习能力过于强大,所以各类算法一般都带有针对过拟合的措施。过拟合无法避免!
- 欠拟合:通常由于学习能力低下造成,没有学到样本的普遍规律。神经网络可以通过增加训练轮次、决策树可以扩展分支来进行克服。
2.错误率、精度、查准率、查全率,测试集、验证集、训练集,留出法、交叉验证法
-
错误率:分类错误的样本占样本总数的比例。如在m个样本中有a个样本分类错误,则错误率E:
E = a m E = \frac{a}{m} E=ma
对于样例集D,分类错误率定义如下:其中Ⅱ(·)为指示函数,在 ‘·’ 为真和假时分别取值1,0
E ( F ; D ) = 1 m ∑ i = 1 m Ⅱ ( f ( x i ≠ y i ) ) E(F;D) = \frac{1}{m} \sum_{i=1}^{m}Ⅱ(f(x_{i} ≠y_{i} )) E(F;D)=m1i=1∑mⅡ(f(xi=yi))
对于数据分布D和概率密度函数p(·),错误率定义如下:
E ( F ; D ) = ∫ x ∼ D Ⅱ ( f ( x ) ≠ y ) p ( x ) d x E(F;D) = \int_{x\sim D}^{}Ⅱ(f(x)≠y)p(x)dx E(F;D)=∫x∼DⅡ(f</