小脑神经网络——CMAC

最新推荐文章于 2024-03-04 14:59:14 发布

草帽B-O-Y

最新推荐文章于 2024-03-04 14:59:14 发布

阅读量1.8w

点赞数 14

分类专栏：神经网络文章标签：神经网络

本文链接：https://blog.csdn.net/u013236946/article/details/72678188

版权

神经网络专栏收录该内容

3 篇文章 1 订阅

订阅专栏

联系方式：860122112@qq.com

小脑神经网络
小脑神经网络（CMAC-Cerebellar Model Articulation Controller）是由Albus最初于1975年基于神经生理学提出的，它是一种基于局部逼近、简单快速的神经网络，能够学习任意多维非线性拟合。相比于BP网络等全局逼近方法，CMAC具有以下优点

-局部学习，每次修改权值少，学习速度快，适合在线学习
-具有一定的泛化能力，即相近输入产生相近输出，不同输入给出不同输出
-具有连续（模拟）输入输出能力
-采用寻址编程方式，在利用串行计算机仿真时，它将使响应速度加快
-对学习数据出现的次序不敏感

CMAC最初主要用来求解机械手的关节运动，后来被进一步应用于机械人控制、模式识别、信号处理以及自适应控制等领域

CMAC结构
CMAC最大特点是局部逼近，因此它具有特殊的结构。

这里写图片描述

如上图，假设输入是二维，即 $X=(x_1,x_2)$ ， $x_1,x_2\in[0,5]$ （即使不是也可以先标准化， $[0,5]$ 不是固定的，可以是其他，本文只是为了好理解而使用这个范围）。
(1)每一维的输入 $x_i$ 都具有层 $m$ 和块 $nb$ 的概念（注意，这个层的意思和一般神经网络层的意思不一样）。在图中Tier是层的意思，也就是每一维具有 $m=4$ 层，每层有 $nb=2$ 块，例如第一层Tier1具有两个块A、B。根据 $m$ 和 $nb$ 确定每一维等分切片的个数，即 $m\cdot(nb-1)+1$ ，例如上图中，每维被切分为4*(2-1)+1=5等份。
(2)输入的维度之间，相同的层所激活的块联合起来对应一个权值地址空间。如上图，当前 $X=(3.5,3.3)$ ， $x_1$ 在不同层激活的块是B、D、F、G， $x_2$ 是b、d、f、g，此时所对应的权值索引是Bb、Dd、Ff、Gg，把这4个权值加起来就是输出。由此可以看出，有多少层就激活多少个权值。同时，不存在同维度块联合、不同维度不同层块联合的情况，也就是说不存在AB、AC、Ad等情况。由此算来，可能使用到的权值个数为 $m\cdot nb^n$ ， $n$ 为输入的维度。
(4)一般CMAC网络的整体构架如下图，第一层是输入层；第二层是虚拟联想空间，即对应上图的Aa、Ab、Ba、Bb……；第三层是物理存储空间，即根据第二层给出的索引找到对应的权值；第四层即输出层。
这里写图片描述
(5)如果输入维度很大，根据 $m\cdot nb^n$ ，权值个数指数增长，然而也许只有少部分的权值被使用（有些权值从来没被激活），所以可以使用哈希表方法存储权值，减小无用空间的开支。
(6)权值更新公式为
$w_{t+1}=w_t+\alpha/m\cdot e$
$\alpha$ 为学习率， $m$ 是层的个数， $e$ 为样本真值与网络预测的误差，只有激活的权值被更新。其实可以把 $m$ 拿掉，看成使用一般神经网络的梯度下降法。