模式识别(Pattern Recognition)学习笔记(十七)--二次判别函数

原创 2016年06月01日 10:59:47
       前面提到,当概率密度函数满足高斯分布或正态分布的情况,贝叶斯决策的分类面就是一个二次函数,这篇博客来学习有关二次判别。
      首先给出二次判别函数的一般形式:

             (1)

其中,W是d阶对称方阵,w为d维权向量;

       从判别式中可以看出,有很多参数,其中等式右边第二项就有d(d-1)/2个参数,很明显,这是一个O(n^2)的复杂度,如果仍然像学习线性函数一样去学习这些参数,计算量可想而知会非常大,并且如果样本不足的话就很难保证判别的准确性,当然推广能力也不强,因此在实际解决中,人们往往采用参数估计来估计得到二次判别函数,即估计出每一类的均值和协方差:

假设每一诶样本都满足高斯分布,因此可以定义每一类的判别函数为样本到均值的马氏距离的平方与给定阈值之间的比较:

                  (2)

其中,mk为每一样本类的样本均值,∑k是每一类的协方差矩阵,右侧第一项是一个判别阈值,它取决于先验概率和∑k;

均值和协方差的估计:

                          (3)

                    (4)

对于一个两类问题,其决策面为:

             (5)

决策规则为:如果左边大于右边,就决策为w1类,右边大于左边,就决策为w2类,如果决策出现错误,可以调整两类的阈值来减小错曲率。

        特殊地,如果其中一类分布比较接近高斯分布,即分布为团状,而另外一类则较均匀的分布在第一类附近,对于这种情况无需作出想公式(5)一样的决策面,只需要求出第一类的判别函数即可,可以看到如公式(2)中,如果第二项(马氏距离平方)小于第一项的阈值,则g(x)>0,于是判为w1类,反之w2类。

       总之,不管需不需要求解决策面方程,都是比较简单的。


版权声明:本文为博主原创文章,转载请注明出处:http://blog.csdn.net/eternity1118_。

线性判别函数

线性判别,是想在特征空间内,找到一个超平面g(x),能够区分开数据。

【机器学习】正态分布的判别函数

有很多种方法来表述模式分类器,其中用的做多e

模式识别(Pattern Recognition)学习笔记(七)——线性分类器及线性判别函数

1.为什么要设计分类器?        回顾下前面学习的统计决策,也就是贝叶斯决策,它可以简单被划分为两步,首先根据样本进行PDF估计,然后根据估计出的PDF来求分类面,因此又经常被叫做两步贝叶斯决策...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

模式识别(三):线性判别函数

上一节我们讲到,分类器的设计有两种思路:基于判别函数的分类器和基于距离的分类器。本节我们开始介绍基于判别函数的分类器中的线性判别函数法。 判别函数法是对不同模式进行分类有很多方法中应用比较广的一种。 ...

模式识别(Pattern Recognition)学习笔记(十九)--多层感知器模型(MLP)

早前已经学习了感知器学习算法,主要通过对那些错分类的样本进行求和来表示对错分样本的惩罚,但明显的它是一个线性的判别函数;而且上节学到了感知器神经元(阈值逻辑单元),对于单个的感知器神经元来说,尽管它能...

梯度下降(Gradient Descent)小结

作者:刘建平Pinard 原文链接:梯度下降(Gradient Descent)小结 在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之...

模式识别(Pattern Recognition)学习笔记(十七)--二次判别函数

转载出处:http://blog.csdn.net/eternity1118_。 前面提到,当概率密度函数满足高斯分布或正态分布的情况,贝叶斯决策的分类面就是一个二次函数,这篇博客来学习有关...

模式识别(Pattern Recognition)学习笔记(十四)--多类线性判别函数

模式识别(Pattern Recognition)学习笔记(十四)--多类线性判别函数 如有错误还请海涵,多谢。。         首先,将多类线性判别函数记为:        按照上一...

模式识别(Pattern Recognition)学习笔记(七)——线性分类器及线性判别函数

转载出处:http://blog.csdn.net/eternity1118_。 1.为什么要设计分类器?        回顾下前面学习的统计决策,也就是贝叶斯决策,它可以...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:模式识别(Pattern Recognition)学习笔记(十七)--二次判别函数
举报原因:
原因补充:

(最多只允许输入30个字)