周志华西瓜书笔记——第二章

2.1 经验误差与过拟合

错误率：分类错误的样本占样本总数的比例

精度：1—错误率

误差：学习器的实际预测输出与样本的真实输出之间的差异

训练误差：学习器在训练集上的误差

泛化误差：在新样本上的误差

过拟合：过度学习样本非主要特征导致学习器泛化能力下降

欠拟合：未完全学习样本的特征

过拟合难以避免，欠拟合可以避免：通过增加训练的轮数、扩展决策树分支等方法可以克服欠拟合；机器学习通常面临NP 问题，机器学习的有效解必然是在多项式时间内的，如果彻底避免了过拟合，说明构造性的证明了P=NP，然而事实上这件事并没有被证明，所以只要P!=NP，则过拟合就无法避免。

模型选择：学习算法+参数配置

 

2.2 评估方法——通过测试对学习器的泛化误差进行评估，进而做出选择

1. 测试集尽量与样本互斥，即测试样本未在训练集合中出现，未被使用过
2. 如何从数据集中产生训练集和测试集
   1. 留出法： 2/3~4/5 作为训练样本，其余作为测试样本，既保证训练集与数据集之间的差别不过大，又保证训练集没有占有绝大多数的样本；训练测试集的划分，尽量保持数据分布的一致性，多种划分方式若干次随机划分重复实验评估取平均值。
   2. 交叉验证法：将数据集进行划分成k个互斥且并为数据集的子集合，每次使用k-1个子集作为一个训练集，余下一个作为测试集，进行k次实验，同样，在划分数据集时候存在不同方式，每种划分方式下进行k次实验。一般，取10次划分方式，每次划分成10个子集，总共进行了100次实验。。。特别的，留一法，每次将每个样本作为一个子集，这样有可能提高准确性，但是代价比较大
   3. 自助法/有放回采样法：数据集D，从D 中m次随机有放回取样得到集合D`，将D`作为训练集合，D-D`作为测试集。这样会引起估计偏差。在数据集合足够大的时候，采用留出法或交叉验证法
3. 调参与最终模型：

 

2.3性能度量

1. 使用均方差/积分形式的均方差来描述模型泛化的能力

2. 错误率和精度的计算法方法
3. 查准率、查全率与F1，针对二分类做出详细的描述，，相关概念：混淆矩阵，宏查准率，微查准率，宏查全率，微查全率，宏F1，微F1
4. ROC 与AUC
5. 未完待续……