贝叶斯决策在MNIST数据上的应用

最新推荐文章于 2024-03-13 16:41:30 发布

VIP文章 damant

最新推荐文章于 2024-03-13 16:41:30 发布

阅读量5.8k

点赞数 1

分类专栏： matlab 模式分类贝叶斯决策机器学习人工智能文章标签：模式分类数字识别贝叶斯决策机器学习 MNIST

本文链接：https://blog.csdn.net/damant/article/details/52810687

版权

贝叶斯决策是解决模式分类问题的一种基本方法。贝叶斯公式为：
这里写图片描述，其中x为特征值，wj为第j个类别。公式可以理解为：后验概率=条件概率密度*先验概率/证据因子。先验概率通常容易得到，而证据因子可以看成一个标量，因此问题的关键在于对条件概率密度的估计。

通常可以用高斯分布来估计条件概率密度，多元正态密度的形式为：
这里写图片描述，x为一个d维列向量，u是d维均值向量，Σ是d*d的协方差矩阵。

对正态密度函数取对数，得到判别函数：
这里写图片描述，对一个测试样本，将其归类为g（x）最大的那一类。

当每一类的协方差矩阵都相等时，讲二次型这里写图片描述展开，并去掉与i无关的项，判别函数可简化为：

当每一类协方差任意时，判别函数为：
这里写图片描述

下面用octave环境下实现了LDF和QDF（在matlab下也可运行），在MNIST数据集上的两者的正确率分别为：87.86%和95.67%
LQDF.m为：

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%author: j.cai 
%%mail: jcai@mail.oom
%%date: 2016-10-11
%%%%%%%%%%%%%

关注