![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模式识别导论
文章平均质量分 80
这还能被占用?
有想法的搬运工
展开
-
正态分布中的贝叶斯分类方法
在上篇文章中,介绍了贝叶斯决策理论,以及两种比较常用的决策标准。但是,在实际工程应用中,类条件概率密度函数的获取是比较困难的。因此,常常假设类条件概率密度函数服从多元正态分布。本文主要介绍多元正态分布中的贝叶斯分类方法。 对于c类问题,以最小错误率的决策标准,可以得到判别函数为令判别函数简化为假设X是n维的待分类特征向量,且服从正态分布,即,则为了方便计算,...原创 2018-10-01 11:18:52 · 5806 阅读 · 0 评论 -
贝叶斯决策中的最小错误率标准和最小风险标准
01 贝叶斯决策理论要解决的问题 根据已有数据对新的数据行分类 02 从一个经典的例子说起 问题:已知若干条鲈鱼和马哈鱼的长度信息,根于一条未知品种的鱼的长度,判断其是鲈鱼还是马哈鱼。 思路:引入随机变量 , :鲈鱼;:马哈鱼; :鲈鱼的概率;:马哈鱼的概率。 ; 根据已有两种鱼长度 ...原创 2018-09-27 12:07:58 · 10135 阅读 · 0 评论 -
设计贝叶斯分类器的两种参数估计方法:最大似然估计和贝叶斯估计
根据前篇文章我们知道,贝叶斯分类器设计时,需要知道先验概率 和类概率密度函数 ,然后再按照最小错误率或者最小风险标准进行决策。但是,在实际的工程应用中,类概率密度函数往往是未可知的。即使把类概率密度函数近似为正态分布函数,其分布的均值和方差也是未知的。因此,我们需要从已知的有限的样本中,尽可能地估计出类条件概率密度函数的参数,来方便我们设计分类器。换句话说,我们直接从样本出发,已知类概率密...原创 2018-10-08 11:23:27 · 3390 阅读 · 3 评论 -
Parzen窗法进行无参数估计
在上一篇文章中,我们介绍了两种参数估计的方法。我们知道,参数估计的假设是:类条件概率密度函数的形式是已知的,只是不知道该函数中的某些参数。 但是,在实际的工程应用中,大多数情况我们是不知道类的条件概率密度函数的,甚至不知道该函数的形式,那么参数估计也就无从谈起了。因此,需要直接从样本数据出发,得到类条件概率密度函数。 一种很自然的想法就是直接用样本的频数代替其概率密度,根据大数定理...原创 2018-10-14 21:49:37 · 2876 阅读 · 0 评论 -
K近邻无参数估计和K近邻分类器
上篇文章我们介绍了Parzen窗无参数估计的方法,这篇文章主要介绍令外一种无参数估计方法——K近邻法(KNN)。然后基于K近邻的原理,简单介绍K近邻分类器前文讲过,与Parzen窗方法不同的是,K近邻估计要求每个空间窗口含有相同数目的个样本数据。根据第x个空间的相对大小,来衡量该空间中心的概率密度,有 因此只...原创 2018-10-20 19:51:24 · 1794 阅读 · 2 评论 -
线性判别函数
回顾模式分类的途径思路一:估计条件概率密度函数,然后利用贝叶斯公式求出后验概率进行决策。而概率密度函数的估计有参数估计和分参数估计两种方式。其中参数估计有最大似然估计和贝叶斯估计,非参数估计有Parzen窗估计和KNN估计。思路二:直接用KNN算出后验概率即可进行决策思路三:直接找到可用于分类的判别函数。这篇文章,我们主要讨论思路三,直接通过数据确定线性判别函数的参数,进而分类决策。我...原创 2018-10-25 23:31:16 · 1044 阅读 · 0 评论 -
BP算法有监督训练人工神经网络
BP误差反向传播算法简介BP(Back Propagation)算法是有监督情况下进行训练神经网络中权重系数的重要方法。神经网络是判别模型的重要组成部分。而判别模型又是模式识别的一大块。关系如下图BP算法由Rumelhart和McClelland于1985年提出。核心思想是利用输出后的误差来估计输出层的前一层的误差,再用这个误差设计更前一层的误差,如此一层一层地反向传播下去,从而获得其他各...原创 2018-11-07 20:16:41 · 2011 阅读 · 1 评论 -
PCA
why信息的冗余增加计算成本,可以通过对数据的分析来降低数据的维度。principal component analysis(PCA)就是一种非常有效的方式。what is PCA我们试图通过线性映射矩阵 WWW 来对原始 ddd 维的特征空间 U=[u1,u2,⋯ ,ud]TU=[u_1,u_2,\cdots,u_d]^TU=[u1,u2,⋯,ud]T 进...原创 2018-12-23 21:53:25 · 229 阅读 · 0 评论