机器学习实战应用案例100篇（二十八）-神经网络算法应用案例

前馈网络函数

1 简介

从前面的回归和分类中，我们看到其由固定的基函数线性组合而成。但这些模型的分析和计算在实际应用中受限于维数诅咒。为了将这些模型应用到大尺度问题，需要基函数自适应数据。

支持向量机[1]通过定义以训练数据点为中心的基函数，然后在训练中选择这些数据点的子集来解决这个问题。SVM的一个优点是，虽然训练涉及非线性优化，但目标函数是凸的，因此优化问题的解决相对简单。

支持向量机的一个优点是，虽然训练涉及非线性优化，但目标函数是凸的，因此优化问题的解决相对简单。生成的模型中基函数的数量通常比训练点的数量小得多，尽管它通常仍然比较大，并且通常随着训练集的大小而增加。

另一个方法是提前固定基函数的数量但允许他们自适应。 换句话说，参数形式的基函数的参数值在训练中自适应。典型代表是前馈神经网络，​​ 也叫多层感知机( multilayer perceptron)。

但多层感知机是不恰当的，因为模型由多层逻辑回归模型组成( 连续非线性)而不是多个感知机(不连续非线性)。

对于许多应用程序，得到的模型可以比具有相同泛化性能的支持向量机更紧凑，因此评估速度更快。紧凑的代价是模型参数的似然函数(形成网络训练的基础)不再是凸函数，类似于相关支持向量机。

但实践中，为了获得一个处理新数据速度快的紧凑模型，在训练阶段投入大量的计算资源往往是值得的。

神经网络这个术语起源于试图在生物系统中找到信息处理的数