ANFIS学习笔记（一）

ANFIS学习笔记（一）

ANFIS起源

最早关于ANFIS的文章应该是Jyh-Shing Roger Jang 于1993年发表的《ANFIS : Adaptive-Network-Based Fuzzy Inference System》这篇文章。当时对于处理模糊不确定系统，使用传统数学工具的系统建模并不能得到令人满意的效果。考虑采用模糊if-then规则的模糊推理系统不需要精确的定量分析就可以对人的知识和推理过程进行定性建模，作者提出了一种基于自适应网络的模糊推理系统。

ANFIS模型介绍

介绍自适应模糊推理系统（ANFIS）模型前，先简单说一下模糊推理系统（FIS）以及自适应网络。
FIS由五个功能模块组成：
1）包含若干模糊if-then规则的规则库；
2）定义关于使用模糊if-then规则的模糊集的隶属函数的数据库；
3）在规则上的执行推理操作的决策单元；
4）将明确输入转化为与语言价值匹配的程度的模糊界面；
5）将推理得到的模糊结果转化为明确输出的去模糊界面。
通常，1、2被联合称为知识库。FIS结构图如下：

自适应网络是一个由节点和连接节点的定向链路组成的多层前馈网络，其中每个节点对传入的信号以及与此节点相关的一组参数执行一个特定的功能(节点函数)。自适应网络的结构中包含有参数的方形节点和无参数的圆形节点，自适应网络的参数集是每个自适应节点的参数集的结合。他们的输出依赖于这些节点相关的参数，学习规则指定如何更改这些参数。
一种自适应网络结构如下图所示：

ANFIS的模型结构由自适应网络和模糊推理系统合并而成，在功能上继承了模糊推理系统的可解释性的特点以及自适应网络的学习能力，能够根据先验知识改变系统参数，使系统的输出更贴近真实的输出。一种ANFIS结构图如下：

输入x，y在第一层进行模糊化，模糊化的方法：用隶属函数（menbership functions，MFs，一般为钟形函数，钟形函数参数为前向参数）对输入特征x，y进行模糊化操作，得到一个[0,1]的隶属度（menbership grade），通常用mu表示。
在第二层，每个特征的隶属度mu相乘得到每个规则的触发强度（firing strength）。
第三层将上一层得到的每条规则的触发强度做归一化，表征该规则在整个规则库中的触发比重，即在整个推理过程中使用到这条规则的程度（用概率理解）。
第四层计算规则的结果，一般由输入特征的线性组合给出（假设输入有n个特征，fi=c0+c1x1+c2x2+。。。+cnxn。c0、c1…cn为后向参数）。
第五层去模糊化得到确切的输出，最终的系统输出结果为每条规则的结果的加权平均（权重为规则的归一化触发程度，理解为计算期望）。

ANFIS学习算法

文章W中给出的学习算法（参数更新方法）为LSE-GD混合学习算法。即更新参数同时在前向传递和反向传递中进行。
在反向传播中，我们固定后向参数（规则中的参数），根据Loss函数对前向参数的偏导数（用到链式法则），从梯度方向的反方向更新参数。所以这种算法也叫Gradient Descent（GD）算法。
在GD算法中，定义测量误差为均方误差的和

Tmp是第p个目标输出的第m个分量，OmpL是第p个实际输出的第L层第m分量，所有P个输出的均方误差之和的和为一次训练中的均方根误差（root mean square error，RMSE），记为E，根据链式法则，可以得到误差Ep对每个参数的偏倒值


只要每次迭代，改变参数alpha=alpha-偏倒，就可以让Ep朝减小的方向发展，即让模型的输出值更接近真实输出值。
在正向传播中，我们固定前向参数，在输入传递到第四层时，通过最小二乘估计（least square estimate，LSE）更新后向参数，在这种前向参数固定的前提下，得到的后向参数估计是最优的，这样，混合学习算法比单纯的GD算法要快很多。

matlab中的ANFIS工具箱

学习ing，下次再更吧^ . ^