李航 第一章 概述

1.什么是过拟合？为什么要解决过拟合？如何解决？

1）图像解释：略

    文字解释：模型学习了训练样本中“并不一般”的特性（摘自西瓜书

），即复杂度高于理想值

2）我们的目的是最小化预测误差 使得预测值和真实值尽可能的接近

    途径是通过最小化损失函数使得训练误差最小

    但训练误差天然会随模型复杂度增大而降低

    模型复杂度升高，出现过拟合，此时训练误差仍在变小（贴合训练样本），但预测误差在增大（泛化能力变差）

    所以需要解决过拟合。

3）正则化：惩罚项 交叉验证：增加验证集

2.为什么生成模型的收敛速度更快且适用于隐变量？（TBD）

因为学习的是分布