随机向量函数链神经网络（RVFLNN）简介——附测试代码

随机向量函数链神经网络（RVFLNN）

函数链神经网络（Functional-link neural network，简称FLNN）的结构如下图。

和深度神经网络结构不同的是，FLNN相当于把隐层放到了输入层中，作为增强结点（Enhancement nodes）。也可以理解成FLNN在输入层就对输入向量进行了非线性变换。作为简洁的扁平网络结构，RVFLNN在监督学习时训练时更快，并且能够在已知有限训练次数内收敛于最优解。

结构分析

假设一个RVFLNN结构有$N$个原输入节点和$J$个增强节点。
其中各个节点的权重为$\mathbf{W}=[{\beta }_1,{\beta }_2,\cdots ,{\beta }_N,{\beta }_{N+1},\cdots ,{\beta }_{N+J}]$。
原输入节点经过线性组合加上偏置项作为第$i$个增强节点的输入值${\theta }_i={\mathbf{A}}_{\mathbf{i}}{\mathbf{X}}^{\mathsf{T}}+b_i$；${\mathbf{A}}_{\mathbf{i}},b_i$是以随机方式生成，原则上需要避免激活后的值落在激活函数的饱和区间。
原输入节点和经过激活（非线性变换）的增强节点构成了输入层$\mathbf{d}=[{\delta }_1,{\delta }_2,\cdots ,{\delta }_N,{\delta }_{N+1},\cdots ,{\delta }_{N+J}]$。

在输出为一个标量时，$o=\mathbf{W}{\mathbf{d}}^{\mathsf{T}}$。（输出为多个标量时同理）

共轭梯度（Conjugate Gradient）训练

训练过程可以定义为让误差最小化：$$E=\frac{1}{2P}\sum _{p=1}^P(t_p-\mathbf{W}{{\mathbf{d}}^{\mathsf{T}}}_p{)}^2$$其中$p$是训练样本编号，$t_p$是第$p$个训练样本目标值。

将多个训练样本写成矩阵形式，目标值向量$\mathbf{t}=[t_1,t_2,\cdots ,t_P]$，输入向量组成了输入矩阵$\mathbf{D}=[{\mathbf{d}}_1,{\mathbf{d}}_2,\cdots ,{\mathbf{d}}_P]$,上述式子也可以写成$E=\frac{1}{2P}(\mathbf{t}-\mathbf{W}{\mathbf{D}}^{\mathsf{T}})(\mathbf{t}-\mathbf{W}{\mathbf{D}}^{\mathsf{T}}{)}^{\mathsf{T}}$。
通过求导得到
$$\mathbf{r}=\frac{\partial E}{\partial \mathbf{W}}=-\frac{1}{p}(\mathbf{t}-\mathbf{W}\mathbf{D}){\mathbf{D}}^{\mathsf{T}}$$

求解最优解可以使用共轭梯度法避免Zig-Zag问题带来的时间浪费：
$$\begin{gathered} {\mathbf{W}}_{\lambda +1}={\mathbf{W}}_{\lambda }+\eta {\mathbf{s}}_{\lambda } \\ {\mathbf{s}}_{\lambda }=-{\mathbf{r}}_{\lambda }+\frac{||{\mathbf{r}}_{\lambda }|{|}^2}{||{\mathbf{r}}_{\lambda -1}|{|}^2}{\mathbf{s}}_{\lambda -1} \end{gathered}$$其中${\mathbf{s}}_0={\mathbf{r}}_0$。
当$\lambda =K\le N+J$时，可以得到最优权重矩阵$\mathbf{W}$。

测试

对正弦函数$y=\sin (x)$随机采样

def sin_generation(size=10):
    X = np.random.uniform(low=-6.28,high=6.28,size=size)
    Y = np.sin(X)
    return X,Y

训练结果：

Enhancement Nodes = 300 
Epoch=12300
MAError=0.09811056069650284
Time=0:00:00.434139 （用笔记本的CPU训练的，确实很快）

代码：
https://github.com/t170815518/BroadLearningSystemFrame/tree/master/RVFLNN

---

参考资料
Learning and generalization characteristics of the random vector Functional-link net (1994), Yoh-Han Pao, Gwang-HoonPark and Dejan J. Sobajic