Bayes classifier(贝叶斯分类器)

最新推荐文章于 2023-10-08 11:24:59 发布

JUAN425

最新推荐文章于 2023-10-08 11:24:59 发布

阅读量2.5k

点赞数

分类专栏： Machine Learning

Machine Learning 专栏收录该内容

13 篇文章 0 订阅

订阅专栏

Bayes 分类器属于是统计分类（statiscal classification）中的内容。该分类器的特点，给定一个新的样本，能够使得就是使得误分的概率达到最小（minimises the probability of misclassification.）。

下面给出wiki的定义：

给定一个pair $(X,Y)$ , 这个pair 所处的维度为 $\mathbb{R}^d \times \{1,2,\dots,K\}$ , 其中 $Y$ 是输入d 维特征向量（fearture vector） $X$ 对应的 class label，不难看出全体的样本可以分为K 类，记为1， 2，。。K（离散的值）。我们假设我们的训练样本 $(X,Y)$ 是采样自某个未知的概率分布。这就意味着 X | Y =r, 读作给定Y为r 类的时候， X的条件概率（由于r 可以取值1， 2，。。k, 虽有总共有k 种条件概率），记为如下：

X\mid Y=r \sim P_r

for

r=1,2,\dots,K

其中 " $\sim$ " 读作 "is distributed as", $P_r$ 代表概率分布。注意X在这里是特征向量，向量中的每一个分量元素可以是取catagorical的，也可以是连续的某一个特征。.

一个classifier 就是一个 rule，或者algorithm，任务就是当面对X的一个新的观测值 observation X=x 的时候，能够给出我们关于这个X对应的label Y的值最可能是1，。。K中的哪一个。理论上，一个分类器就是一个 measurable function（可测量的函数） $C: \mathbb{R}^d \to \{1,2,\dots,K\}$ , w也就是说函数 C 将一个样本输入特征x 映射为 class C(x). 这个measureable function（或者称为分类器）C的误分的概率，或者说又称为风险（risk） , 定义为如下：

\mathcal{R}(C) = \operatorname{P}\{C(X) \neq Y\}.

所谓的 Bayes classifier，定义为如下：

C^\text{Bayes}(x) = \underset{r \in \{1,2,\dots, K\}}{\operatorname{argmax}} \operatorname{P}(Y=r \mid X=x).

该函数给定任何一个输入特征向量X = x, 会返回一个能够使得条件概率 Y = r| X= x达到最大的类标号r(取值的可能为1，。。， K)。那么这就是最优的，能够最小化误分误差。

在统计分类算法中，包括bayes classifier, 我们面对的主要任务就是如何有效的对 $\operatorname{P}(Y=r \mid X=x)$ 进行建模.

对于一个一般的分类器（ a general classifier）C，我们定义该分类器的 excess risk为： $\mathcal{R}(C) - \mathcal{R}(C^\text{Bayes}).$ 不难看出，这是一个非负的值，因为Bayes 是能够使得误分达到最小的分类算法。可以作为统计分类算法的bench mark。所以excess risk 常常用于评价比较不同的分类技术（算法）的性能。如果随着训练样本的size 趋向无穷大，一个classifier的excess risk 收敛到0，我们说这个classifier被称为consistent(连续的)。