机器学习基础概念

监督学习 ：学习一个模型，使得模型能够对任意的输入，对相应的输出给出一个好的预测。分为学习和预测两个过程。包含分类问题，以及回归问题。

输入空间：所有可能的输入的取值的集合。

输出空间：所有可能的输出的取值的集合。输出空间通常远远小于输出空间。

特征空间：每个具体的输入是一个实例，通常由特征向量表示，特征向量存在的空间称为特征空间。其中每一维对应一个特征。由于模型定义在特征空间，所以需要将输入空间映射到特征空间。

假设空间：从特征空间到输出空间的映射（模型）的集合。

统计学习三要素：模型，算法，策略。
模型：在监督学习中，就是所要学习的条件概率分布或者决策函数。
策略：按照什么样的准则学习或选择最优模型，如经验风险最小化，结构风险最小化的策略。

损失函数：度量模型一次预测的好坏，是预测值和标记值的非负实值函数。

期望损失：模型关于联合分布的平均损失。这是学习的目标。

经验风险：模型在训练集的平均损失。根据辛钦大数定律，当样本容量趋于无穷时，经验风险趋于期望损失。

结构风险：在经验风险上加上表示模型复杂的的正则化项。

正则化：即结构风险最小化，为防止过拟合提出的。正则化项可以是L2范数的平方，一般乘以1/2,便于处理，也可以是L1范数。

训练误差：模型关于训练集的平均损失。

测试误差：模型关于测试集的平均损失。

泛化能力：模型对未知数据的预测能力。

过拟合：学习时，选择的模型参数过多，以至于模型对已知数据的预测能力很好，对未知数据的预测能力却很差。

交叉验证：把给定的数据分为训练集以及测试集，在此基础上反复训练测试模型。如简单交叉验证，S折交叉验证，留一交叉验证。

准确率：分类器正确分类的样本数与总样本数比。