统计学习方法，李航

1.统计学习的特点、对象、目的、方法和研究

答：统计学习是一种以数据为研究对象，以计算机及网络为平台，以方法为中心，构建概率统计模型并应用模型进行预测与分析的学科 12。统计学习的主要特点包括：（1）统计学习以计算机及网络为平台，是建立在计算机及网络之上的；（2）统计学习以数据为研究对象，是数据驱动的学科；（3）统计学习的目的是对数据进行预测与分析；（4）统计学习以方法为中心，构建概率统计模型并应用模型进行预测与分析3 4。

统计学习的方法包括：监督学习、无监督学习、半监督学习和强化学习 5 6。其中，监督学习是最常用的一种方法，其目的是通过已知输入和输出训练样本来构建一个分类或回归模型，然后对新样本进行分类或回归预测 6 7。

2.监督学习：基本概念，问题形式

答：监督学习是机器学习中的一种训练方式，是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习，是从标记的训练数据来推断一个功能的机器学习任务 1 2。监督学习的问题形式包括分类问题和回归问题3 4。

在监督学习中，每个样本都有一个标签或输出值，而模型的目标就是通过输入数据来预测输出值。监督学习的基本概念包括：输入空间、特征空间、输出空间、假设空间、学习策略和损失函数 5 6。

3.统计学习的三要素：模型，策略，算法

答：统计学习方法由三要素构成，即模型、策略和算法 1 2。其中，
模型是统计学习的最终结果，即决策函数或条件概率函数，它被用来预测特定问题下，将来未知输入的输出结果。
策略是统计学习过程中的产生最优模型的评价准则，通常由模型对某个样本一次预测的好坏程度评价的损失函数和模型对所有样本平均意义下风险函数决定。
算法是指统计学习过程中具体的学习出模型的方法 3 4。

4.误差与模型评估

答：模型评估用来评测模型的好坏。模型在训练集上的误差通常称为训练误差或经验误差，而在新样本上的误差称为泛化误差。显然，机器学习的目的是得到泛化误差小的学习器。然而，在实际应用中，新样本是未知的，所以只能使训练误差尽量小 1。

误差评估方法有很多种，其中最常用的是均方根误差（RMSE）、平均绝对误差（MAE）和均方误差1 (zhuanlan.zhihu.com) 2(zhuanlan.zhihu.com)。这些方法可以用来评估模型的预测误差情况、拟合程度、模型稳定性等方面。

5.过拟合与模型选择

答：过拟合是指学习时选择的模型所包含的参数过多，以致于出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象1 。为了避免过拟合，我们可以使用正则化、dropout等方法来减少模型的复杂度，或者使用更多的数据来训练模型 zh.wikipedia.org。

在机器学习中，模型选择是一个重要的问题。模型选择的目标是在给定的学习问题上选择一个最优的模型。常用的模型选择方法有交叉验证、贝叶斯模型选择等 zhuanlan.zhihu.com。

6.正则化与交叉验证

答：正则化和交叉验证都是机器学习中常用的方法。

正则化是一种通过约束模型参数的大小来避免过拟合的方法。常用的正则化方法有L1正则化和L2正则化。L1正则化会使得一些参数变成0，从而实现特征选择的效果；L2正则化会使得所有参数都变小，但不会变成0 cloud.tencent.com。

交叉验证是一种评估模型性能的方法。在交叉验证中，我们将数据集分成若干份，每次使用其中一份作为测试集，其余部分作为训练集。这样可以避免过拟合，并且可以更好地评估模型的性能 bing.com blog.csdn.net。

7.泛化能力

答：泛化能力是指机器学习算法对新鲜样本的适应能力，即在原有的数据集上添加新的数据集，通过训练输出一个合理的结果 baike.baidu.com zhuanlan.zhihu.com。泛化能力是衡量模型优劣的重要指标之一，好的模型应该具有较