概率神经网络实现Parzen窗方法

概率神经网络实现Parzen窗方法

标签（空格分隔）： 模式分类

---

假设我们要实现一个Parzen估计，共有n个d维度的样本，都是随机从c个类别中选取的，这种情况下，输入层由d个输入单元组成，每个输入单元都与n个模式单元相连。每一个模式单元都与c个类别中的其中之一相连。
从输入层到模式层的连线表示为可以修改的权系数，这些系数都可以通过训练得到。这些权重可以用一个向量$\theta$表示，但为了与神经网络术语保持一致，统一改用向量w来表示，而一个类别单元都计算与之相连的各模式单元的输出结果和。

---

首先我们先把样本$x$进行归一化处理，即$\sum\limits_i^dx_i^2=1$,经过归一化后的样本置于输入层单元上。同时，连接输入单元和第一个模式层单元的那些连接被初始化为$w_1 = x_1$，然后从模式层的第一个单元到类别层中代表$x_1$的那个类别建立了一个连接，如图所示

如此，当n个随机样本遍历完成之后，可以得到一个输入层到模式层的全连接网络，和一个模式层到类别层的一个稀疏连接网络

PNN训练算法
begin initialize j <- 0, n, aji