模型的分类

从数据分布来看：

参数模型和非参数模型

如果待求解的概率分布或者数量关系可以用一组有限且固定数目的参数完全刻画，求出的模型就是参数模型；反之，不满足这个条件的模型就是非参数模型。其主要区别是总体的分布形式是否已知，非参数模型并不是指没有参数，而是参数个数不确定，甚至可能是无穷多个。参数模型可以求解出概率分布，因此具有全局普适性，而且只需要较小的计算代价就可从计算空间习得较好的模型，但其可用性严重依赖先验知识的可信度。非参数模型不使用先验信息，完全依赖数据进行学习，不存在关于数据潜在模式和结构化特性的任何假设，数据的所有统计特性都来源于数据本身，一切都是“所见即所得”，因此具有局部适用性，优点是当训练数据趋于无穷多时，非参数模型可以逼近任意复杂的真是模型，但时空复杂度比参数模型要大得多。

参数模型：线性回归

非参数模型：决策树->随机森林；核SVM

半参数模型：神经网络(层数和神经元确定 → 参数模型，深度学习中dropout → 非参数)

从模型构造来看：

数据模型和算法模型

数据模型类似参数模型，而算法模型类似非参数模型。

数据模型的代表：线性回归，其可解释性强，但简单模型有时不能充分体现出复杂作用机制。

算法模型的代表：随机森林，可解释性弱，但可描绘复杂的数据，精确度高。

从学习对象角度来看：

生成模型和判别模型

生成模型：学习的对象是输入 x 和输出 y 的联合分布 p(x,y)

判别模型：已知输入 x 的条件下，输出 y 的条件分布 p(y|x)