机器学习基本概念梳理（一）

1.输入空间：输入所有可能取值的集合
2.输出空间：输出所有可能的集合
3.特征空间：所有特征向量存在的空间
4.统计学习方法三要素：模型、策略、算法。
5.监督学习的目的在于找到一个从输入到输出的映射，分为学习和预测。
6.期望损失：又称风险函数，$R={\int }_L(y,f(x))P(x,y)dxdy$,用经验风险估计期望风险。
7.经验风险最小化：模型关于训练数据集的平均损失称为经验风险，经验风险最小的模型。$mi{n}_f{\sum }_{i=1}^{N}L(y_i,f(x_i))$,样本容量足够大时，经验风险最小化能够保证有很好的学习效果。样本小则可能产生过拟合。
8.结构风险最小化：是为了防止过拟合而提出来的策略，等价于正则化。它等于经验风险加上表示模型复杂度的正则化项或者罚项。$R_{srm}(f)=\frac{1}{N}{\sum }_{i=1}^{N}L(y_i,f(x_i))+rJ(f)$,其中$r>=0$为惩罚系数，用来权衡经验风险和模型复杂度。结构风险小需要经验风险和模型复杂度同时小。
9.过拟合：指学习时选择的模型所包含的参数过多，以致于出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象。减小过拟合一般用正则化或交叉验证。
10.正则化：结构风险最小化策略的实现，在经验风险上加上一个正则化项或罚项。模型越复杂，正则化值就越大。正则化的作用是选择经验风险和模型复杂度同时较小的模型。
11.奥卡姆剃刀原理：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型。
12.交叉验证：随机将数据集切分为三部分，分为训练集、验证集和测试集。训练集用来训练模型，验证集用于模型的选择，测试集用于最终对学习方法的评估。重复使用数据，在此基础上反复进行训练测试，最终选择对验证集有最小误差的模型。
13.泛化能力：指由该方法学习到的模型对未知数据的预测能力。通过测试误差来评价学习方法的泛化能力。
14.泛化误差：用这个模型对未知数据预测的误差。泛化误差反应了学习方法的泛化能力。泛化误差就是所学习到的模型的期望风险。
15.分类问题：是监督学习的一个核心问题。当输出变量取有限个离散值时，预测问题便成为分类问题。包括学习和分类两个过程。首先根据有效的学习方法学习一个分类器，然后利用学习的分类器对新的输入实例进行分类。
16：精确率$P=\frac{TP}{TP+FP}$; 召回率$R=\frac{TP}{TP+FN}$; 其中$TP$为正类预测为正类数目、$FN$为正类预测为负类数目、$FP$为负类预测为正类数目、$TN$为负类预测为负类数目。通俗解释：精确率就是分类正确的正类除以分类之后的正类数目；召回率就是分类正确的正类除以分类之前的正类数目。
17：标注问题：也是一个监督学习问题。是分类问题的一个推广，是更复杂的结构预测问题的简单形式。它的输入是一个观测序列，输出是一个标记序列或者状态序列。目标在于学习一个模型，使它能够对观测序列给出标记序列作为预测。
18：回归问题：监督学习的问题。用于预测输入变量和输出变量之间的关系。回归模型正是表示从输入变量到输出变量之间映射的函数。等价于函数拟合，选择一条函数曲线使其能够很好的拟合已知数据且能够很好地预测未知数据。分为学习预测两个过程。最常用的损失函数为平方损失函数，此时可以用最小二乘法求解。