神经网络与机器学习 笔记—核方法和径向基函数网络（上）

    对于神经网络的监督学习有多种不同方法。之前一直总结整理的多层感知器反向传播算法，可以看做是递归技术的应用，这种技术在统计学中通称为随机逼近。

这次是采用不同的途径，通过包含如下两个阶段的混合方式解决非线性可分模式的分类问题：

1. 将一个给定的非线性可分模式的集合转换为新的集合，在一定的条件下，转换后的模式变为线性的可能性很高；关于这一转换的数学证明可以追溯到Cover的早期论文。
2. 通过最小二乘估计来借给定的分类问题。

首先通过插值问题的讨论来描述关于这一混合方式对模式分类问题的一种知性方式：

使用径向基函数RBF，该网络结构由三层组成：

输入层由一些源节点（感知单元）组成，它们将网络与外界环境连接起来。

第二层由隐藏单元组成，它的作用是从输入空间到隐藏（特征）空间进行非线性变换。在大多情况下网络仅有的隐藏层具有较高的维数，这一层是利用混合学习过程的第一阶段在非监督方式下训练的。

输出层是线性的，它是为提供网络的响应而专门设计的，该响应提供给应用于输入层的激活模式。这一层是利用混合过程的第二阶段在监督方式下训练的。

从输入空间到隐藏空间的非线性变换以及隐藏空间的高维数满足Cover定理仅有的两个条件。RBF网络的多数理论建立在高斯函数之上，这一类中一个重要的成员是径向基函数。高斯函数可以看做是一个核࿰