模式识别(Pattern Recognition)学习笔记(十七)--二次判别函数

原创 2016年06月01日 10:59:47
       前面提到,当概率密度函数满足高斯分布或正态分布的情况,贝叶斯决策的分类面就是一个二次函数,这篇博客来学习有关二次判别。
      首先给出二次判别函数的一般形式:

             (1)

其中,W是d阶对称方阵,w为d维权向量;

       从判别式中可以看出,有很多参数,其中等式右边第二项就有d(d-1)/2个参数,很明显,这是一个O(n^2)的复杂度,如果仍然像学习线性函数一样去学习这些参数,计算量可想而知会非常大,并且如果样本不足的话就很难保证判别的准确性,当然推广能力也不强,因此在实际解决中,人们往往采用参数估计来估计得到二次判别函数,即估计出每一类的均值和协方差:

假设每一诶样本都满足高斯分布,因此可以定义每一类的判别函数为样本到均值的马氏距离的平方与给定阈值之间的比较:

                  (2)

其中,mk为每一样本类的样本均值,∑k是每一类的协方差矩阵,右侧第一项是一个判别阈值,它取决于先验概率和∑k;

均值和协方差的估计:

                          (3)

                    (4)

对于一个两类问题,其决策面为:

             (5)

决策规则为:如果左边大于右边,就决策为w1类,右边大于左边,就决策为w2类,如果决策出现错误,可以调整两类的阈值来减小错曲率。

        特殊地,如果其中一类分布比较接近高斯分布,即分布为团状,而另外一类则较均匀的分布在第一类附近,对于这种情况无需作出想公式(5)一样的决策面,只需要求出第一类的判别函数即可,可以看到如公式(2)中,如果第二项(马氏距离平方)小于第一项的阈值,则g(x)>0,于是判为w1类,反之w2类。

       总之,不管需不需要求解决策面方程,都是比较简单的。


版权声明:本文为博主原创文章,转载请注明出处:http://blog.csdn.net/eternity1118_。

相关文章推荐

模式识别学习笔记(十六)--非线性分类器

前面的学习中,我们学习了有关线性分类器的相关知识,但是要知道,很多情况下我们并不能保证类别间的分类面是线性的(线性是最简单的情况),而且许多复杂问题中,可能采用非线性分类器更适合问题的解决;因此接下来...

深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器

这个部分我们介绍一类新的分类器方法,而对其的改进和启发也能帮助我们自然而然地过渡到深度学习中的卷积神经网。有两个重要的概念: 得分函数/score function:将原始数据映射到每个类的打分的函...

模式识别(Pattern Recognition)学习笔记(七)——线性分类器及线性判别函数

1.为什么要设计分类器?        回顾下前面学习的统计决策,也就是贝叶斯决策,它可以简单被划分为两步,首先根据样本进行PDF估计,然后根据估计出的PDF来求分类面,因此又经常被叫做两步贝叶斯决策...

模式识别(Pattern Recognition)学习笔记(十四)--多类线性判别函数

模式识别(Pattern Recognition)学习笔记(十四)--多类线性判别函数 如有错误还请海涵,多谢。。         首先,将多类线性判别函数记为:        按照上一...

模式识别(Pattern Recognition)学习笔记(二十三)-- SVM的两大思想:大间隔与核函数

0.引言 上节讲到广义线性判别函数,它是从任意阶非线性判别函数到线性判别函数的一种有效变换,但是这种变换是以牺牲特征空间维数为代价的,如果能很好地处理这种维数灾难,那么上述变换也是极好的,有没有可能在...

模式识别(Pattern Recognition)学习笔记(六)——概率密度函数的非参估计

上篇学习了PDF的参数估计方法,主要有最大似然估计和贝叶斯估计,他们主要对有确定形式的PDF进行参数估计,而在实际情况下,并不能知道PDF的确切形式,只能通过利用所有样本对整个PDF进行估计,而且这种...

模式识别(Pattern Recognition)学习笔记(五)——概率密度函数(pdf)的参数估计

回顾下贝叶斯决策,它的终极目标是要获取后验概率,而后验概率又可以由先验概率和类条件概率密度两个量估计得到。先验概率的估计相对来说比较简单,一般有两种方法,其一可以用训练数据中各类出现的频率来估计得到;...

模式识别(Pattern Recognition)学习笔记(十)--最小平方误差判别(MSE)

上篇介绍了样本线性可分下的Fisher判别,这篇开始介绍样本不可分下的判别--MSE。       最小平方误差(又叫最小二乘误差)判别是针对样本线性不可分的情况来讨论的,因此当样本不可分时,就有可...

模式识别(Pattern Recognition)学习笔记(九)--感知器

感知器是一种可以直接得到线性判别函数 的线性分类方法,由于它是基于样本线性可分这样的一个要求下使用的,所以,首先来了解下什么是线性可分与线性不可分。 1.线性可分与线性不可分 首先,为了打好基础,...

模式识别(Pattern Recognition)学习笔记(二十九)--决策树的剪枝

在有限的样本下,如果决策树生长得很大,树枝很多,那么就有可能导致有限样本中对采样的偶然性或噪声比较敏感,导致过学习,从而范化能力差。        首先来看一幅图,如图: 上图是一次测试中...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)