模糊辨识和估计的最小二乘法算法

模糊辨识可以采用最小二乘法，梯度算法，聚类算法，样本学习算法及其修正算法来训练标准模糊系统和T-S模糊系统。

从广义上讲，可以把模糊建模解释为用一种自然语言定性描述许同特性的等效模型
A.成批最小二乘算法
已证明成批最小二乘算法对于各种实际应用是非常成功的，但是从本质上讲，他是离线算法。
B.递推最小二乘算法
其递推形式，即每当得到一对新数据时，就更新估计值。递推算法在计算过程中没有用过去所有时刻的数据，也没有计算@T@的逆。
模糊系统的调整：
应用最小二乘算法可以调整离线的或者在线的模糊系统。调整具有多输入，单输出的标准型和T-S型模糊系统。

A.模糊系统的成批最小二乘训练
B.模糊系统的递推最小二乘训练

模糊辨识和估计的梯度法

这里试图构造一个能够通过适当差补来金丝函数g的模糊系统f(x|@).从本质上讲，g由训练数据G描述。但是，使用梯度法优化方法的目的是为了寻找能很好近似g(x)的参数@。但不幸的是，梯度法试图得到最好的@,但是它不能确保完成的@是参数的最好近似。

模糊的聚类：所谓聚类就是以数据间的相似性为基础把数据进行归类的方法，是一种无监督的分类。而模糊聚类是根据数据的相似性把同类数据归纳为模糊集合或聚类，即通过模糊集合定义软边界从而把数据聚类。
基于模糊划分的概念人们提出了多种聚类方法：
比较典型的有基于相似性关系和模糊关系（包括聚合法和分裂法），基于模糊等价关系的传递闭包方法，基于模糊图论最大树方法，基于数据集的凸分解`动态规划和难以辨识关系等方法。

实际中受到普遍欢迎是基于目标函数的方法，设计简单，解决范围广，最终还可以转化为优化问题而借助经典数学的非线性规划理论求解，并易于计算机求解。
这其中与模式识别有密切关系的模糊聚类主要有两种方法：C-聚类法和最近邻聚类法。
在C-聚类算法中，用传统最优方法来寻找聚类中心（条件模糊隶属函数参数）。结论模糊隶属函数参数用加权最小二乘法算法来获得。最近邻居聚类法同样也是用一种最优化的方法来得到聚类中心的结构，即模糊系统。

许多梯度型优化技术是通过最小化em来选择@。例如，牛顿法，准牛顿法，高斯-牛顿法，赖晚伯哥-马夸特（Levenberg-Marquardt）法。每种方法都有其优点和不足，要针对特定的应用场合作出具体选择。从本质上讲，高斯-牛顿迭代法是牛顿迭代法的一种近似，所以它能够提供比最快下降算法更快的收敛，但他还是没有纯牛顿迭代法的收敛速度快，不过他的计算比较简单。注意，对于高斯-牛顿方法上述的每次迭代，必须求p*p维矩阵的逆阵，不过，在优化文献中已有解决这个问题的方法