算法回顾---贝叶斯分类器

感觉自己从开始到现在到是学了很多，但是并没有记住什么，一开始就意识到应该要自己去巩固复习，但是迟迟没有行动，今天就开始回顾一下之前的贝叶斯分类器吧！

一、贝叶斯分类器简介

贝叶斯分是各种分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器，它是一种最基本的统计分类方法，起其分类原理是通过某对象的先验概率，利用贝叶斯共识计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类别。

二、贝叶斯分类器原理

统计分类是依据样本，在各个维度上的特征分布来进行分类决策的模式识别算法。
把样本真是所属的类别作为条件，特征值作为结果，根据结果推测条件的推理过程（逆推理）

三、贝叶斯公式

设实验E的样本空间为S，A为E事件，B_1、B_2、B_3…B_c为S的一个划分，且P(A)>0,P(B_i)<0.
则
其中

为后验概率：事件A出现后各不相同的条件B_i存在的概率；

为类条件概率各条件B_i存在时，结果时间A发生的概率；

为先验概率：各不相容的条件B_i本身出现的概率。

例如：世界上有两种性别的人，男和女。
为女生的先验概率为50%。
后验概率：事件：留长发 概率：是女生 P(B|A)=0.8
类条件概率：这样的事件一般出现的情况，会在大多数数据中找到有规可循的规律来作为类条件概率。可由大量的重复实验所获得的各类样本出现的频率近似获得。

四、不确定统计分类

对于不确定的统计分类，我们已知的是每个类别的样本取得不同特征向量的概率。
分类目的：如何依据某个待识别样本的特征向量计算出改样本属于每个类的概率。

贝叶斯分类器原理
已知：先验概率+类条件概率===>后验概率（样本取得某一个具体特征向量时属于每一类的概率）

贝叶斯分类器实例：
已知在男性中留长发的概率为5%，女性中留长发的概率为95%。求的在路上看见一个人的背影留长发为男生和女生的概率是多少。

先验概率（男生or 女生）——— P（男性）=P（女性）=50%
类条件概率（两种情况分别占的比列）P(长发|男生）=0.05
P(长发|女生）=0.7

后验概率（男生为长发的概率）

同理可得女生为14/15
必须做出分类决策是，看作女性更加的保险。

本质特点

1. 不论如何选择都会有错误
2. 先验概率是基础，后验概率总是在此基础上进行修正改变。
3. 以获得新的信息对先验概率进行修正

几种常见的贝叶斯分类器

1. 最小错误率贝叶斯分类器（最大后验概率）
   将样本类别划分到后验概率最大的样本中
   若P(W_i|x)=maxP(W_j|x) ,则x∈W_i
   最小错误率分类器非常简单，依据新的信息来修正先验概率减小做分类决策的错误率时非常有效。要把分类决策所带来的的后果考虑进去。