概率神经网络

概率神经网络的简单介绍
概率神经网络(PNN)于1989年由D. F. Specht 博士首先提出，是一种常用于模式分类的神经网络。概率神经网络是基于统计原理的神经网络模型，在分类功能上与最优贝叶斯分类器等价，其实质是基于贝叶斯最小风险准则发展而来的一种并行算法。概率神经网络的判别边界接近于贝叶斯最佳判定面，神经网络的计算流程与最大后验概率准则极为类似。
概率神经网络分类器的理论推导
1 贝叶斯决策理论

即遵循最大后验概率准则

2 概率密度估计方法

去掉共有的元素判别函数可以简化为

判别规则是

概率神经网络模型

概率神经网络计算过程

归一化的过程是为了减小误差防止较小的数被较大的数“吃掉”。

3 模式距离的计算
该距离是指待识别样本矩阵与训练样本矩阵中相对应元素之间的距离。


4 样本层高斯函数被激活。
训练样本与待识别样本被归一化后，通常取标准差σ=0.1的高斯型函数。激活后得到初始的概率矩阵。

这里得到的概率密度矩阵相当于是训练样本与待识别样本之间的匹配程度。输入的待识别样本与训练样本之间的相似度较高，那么得到的匹配程度也相对较大。

5 求各个样本属于各类的初始概率和
由于PNN网络采用有监督学习，所以已知训练样本所属类别。训练样本有m个，可以分为C类，并且各类样本的数目相同，设为K，即m=ck。则可以在网络的求和层求得各个样本属于各类的初始概率和。

6 计算概率
即第i个样本属于j类的的概率。

最后基于贝叶斯决策理论，即后验概率最大原则，取每行概率最大的作为i个样本的所属类。

具体问题分析
基于概率神经网络的柴油机故障诊断




具体步骤
（1）定义样本，每列为一个样本，训练样本为612矩阵，测试样本为66矩阵。
（2）样本归一化
（3）创建网络模型
（4）测试，首先将需要定义的样本及其正确的分类标签，然后将测试样本按与训练样本相同的方式进行归一化，最后将其输入到创建的网络模型中。

小结
1训练容易，收敛速度快，从而非常适用于实时处理。在基于密度函数核估计的PNN网络中，每一个训练样本确定一个隐含层神经元，神经元的权值直接取自输入样本值。可以实现任意的非线性逼近，用PNN网络所形成的判决曲面与贝叶斯最优准则下的曲面非常接近。

2隐含层采用径向基的非线性映射函数，考虑了不同类别模式样本的交错影响，具有很强的容错性。只要有充足的样本数据，概率神经网络都能收敛到贝叶斯分类器，没有BP网络的局部极小值问题。

3隐含层的传输函数可以选用各种用来估计概率密度的基函数，且分类结果对基函数的形式不敏感。

4扩充性能好。网络的学习过程简单，增加或减少类别模式时不需要重新进行长时间的训练学习。

5各层神经元的数目比较固定，因而易于硬件实现。