Local Receptive Fields Based Extreme Learning Machine

一 论文主旨

 

 

二 建模

1 SLFNs单隐层前馈神经网络

 

对于隐含层m1来说，若W为权重，sum为连接权重和对应输入相乘后的叠加，为一个线性公式，.再用S型函数对其进行激活，增加非线性因素，sigmoid（sum）即为m1的输出，进行下一轮的计算。

直到输出层，设y1标记为（1,0），y2标记为（0,1），根据计算结果（y1,y2）=（0.72,0.36），则属于y1这个类。

2 ELM超限学习机

2.1本质：

（在单隐层神经网络基础上,隐含层之前的权重随机赋予；隐含层之后的权重用最小二乘法训练求得）

The hidden nodes are randomly generated（feature mapping阶段）and the output weights are analytically calculated with minimum norm of output weights constraints（ELM learning阶段）,which provides a deterministic solution that is simpler,stable,and more efficient.

 

2.2特点：

i）all the hidden node parameters can be randomly generated as long as the activation function is nonlinear piecewise continuous;

ii)all the hidden nodes can be not only independent from training samples but also independent from each other;

Iii)ELM不局限于几种神经网络。

 

1）在这张图中，input layer到hidden laye中的权值wi1,wi2,wi3都是随机赋予，符合某种概率分布。

2）在ELM learning阶段，目标是：

 

C是trade-off为了权衡两者所占的比重。单独的β是为了防止过拟合。H是hidden layer output matrix，一图片到隐含层为L个向量表示，N个图片。T is ground-truth。

                 

当基本的参数都为2时，Solution is closed-form. 

 

这个公式中所有参数都是一维，但是图像是二维。做实验时，把100x100的图像变换成1x10000的向量即可。

3 CNN卷积神经网络

3.1卷积

 

这个卷积核大小3x3，

用这个卷积核不断向右平移一列去“盖章”，相乘相加。这个也是文中所说不同于ELM的full connection。因为4只跟左上角的9个数有关，而不是整个图像。

3.2 池化

 

选取卷积神经元中的一部分就叫池化，类似于文中的combination.

4 ELM-LRF基于局部可接受域的超限学习机

 

Local receptive field就是卷积核的大小，random inputweight a就是卷积核里的数字，符合某种随机概率分布。feature map就是convoluted feature,之所以说权值共享是因为一个卷积核要去在整个图中一一平移“盖章”，“盖章”时的权重一样。生成K个卷积核，得到K种feature map，对每一个feature map采样（combination），得到K种pooling map，跟输出层full connection,用最小二乘法确定ELM learning阶段的权值。