贝叶斯方法在mnist手写数据集上应用
理论基础
记 I m g Img Img为待识别的照片, Y Y Y为种类集合,那么根据贝叶斯公式可知
P ( Y i ∣ I m g ) = P ( I m g ∣ Y i ) P ( Y i ) P ( I m g ) P(Y_i|Img) = \frac{P(Img|Y_i)P(Y_i)}{P(Img)} P(Yi∣Img)=P(Img)P(Img∣Yi)P(Yi)
在mnist数据集上的应用即为求最大后验概率问题
f = a r g m a x P ( Y = i ∣ I m g ) f = argmax P(Y=i|Img) f=argmaxP(Y=i∣Img)
进一步细化问题,又可以分为 如何表示变量 I m g Img Img 和 如何得到Y的参数模型.针对这两个问题将在下文中一一讲述
- 如何表示变量 I m g Img Img
在mnist的官网上可以查到,数据集中图片是标准化处理的28X28灰度图像,采用一维矩阵存储.所以我们可以用这784个像素点作为特征值来描述一副图片,也就是说每一副图片都是由784个独立且随机变量构成.但是由于每一副图像都经过标准化处理,像素点的取值可近似为区间 [ 0 , 1 ] [0,1] [0,1]上连续,为避免过于复杂运算,这里首先对图片进行二值化处理,关于图片二值化处理将在程序实现中说明,这里不过多介绍 - 如何得到 Y Y