贝叶斯决策理论总结（上）

基础

1. 先验概率：$p(w_1)$和$p(w_2)$
2. 类条件概率：$p(x|w_1)$和$p(x|w_2)$
3. 后验概率：$p(w_i|x)=\frac{p(x|w_i)p(w_2)}{p(x)}$
4. 似然函数：
   $$\begin{gathered} liklihood(x)=\frac{p(x|w_1)}{p(x|w_2)}>\frac{p(w_1)}{p(w_2)}，则表示x\in w_1 \\ liklihood(x)=\frac{p(x|w_1)}{p(x|w_2)}<\frac{p(w_1)}{p(w_2)}，则表示x\in w_2 \end{gathered}$$
   这种形式也可以表示为对数形式：
   $$\begin{gathered} h(x)=-lnliklihood(x)=-lnp(x|w_1)+lnp(x|w_2)<ln\frac{p(w_1)}{p(w_2)}，则表示x\in w_1 \\ h(x)=-lnliklihood(x)=-lnp(x|w_1)+lnp(x|w_2)>ln\frac{p(w_1)}{p(w_2)}，则表示x\in w_2 \end{gathered}$$
   如果是二分类，则$p(w_1|x)+p(w_2|x)=1$，根据后验概率进行决策，这个过程就叫贝叶斯决策，其中$p(x)$叫全概率。后验概率涉及一个具体的事物，而先验概率是泛指一类事物。
5. 分类错误率 = 被错分的样本数 / 样本总数
   $$p(e)=\int p(e,x)dx=\int p(e|x)p(x)dx$$
   最小错误率可以写成：
   $$minp(e)=\int p(e,x)dx=\int p(e|x)p(x)dx$$
   错误率最小的决策就是使后验概率最大的决策。
6. 损失函数$\lambda ({\alpha }_i,w_i)$，${\alpha }_i\in \Omega$，$w_i\in {\rm Y}$， $\Omega$是状态空间，${\rm Y}$是决策空间
7. 条件期望损失：
   $$R(alph{a}_i|x)=E[\lambda (alph{a}_i,w_i)]=\sum _{j=1}^c\lambda ({\alpha }_i,w_j)p(w_j|x)$$
   表示样本$X$采取某种决策$\alpha$时的损失加权平均值，也叫条件风险。
8. 期望风险：$R=\int R(\alpha (x)|x)p(x)dx$，反应了对整个特征空间所有X的取值都采用相应的决策所带来的风险。如果采用0-1损失函数时，最小错误贝叶斯决策就是最小风险贝叶斯决策。

贝叶斯分类器

贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，选择具有最大后验概率的类作为该对象所属的类。

1. 贝叶斯分类器 = 判别函数 + 决策面
2. 判别函数：定义$g_i(x)$，$i$表示类别，每一类都对应一个判别函数。如果对于一切$j\ne i$ 都有$g_i(x)>g_j(x)$，则表示$x\in w_i$；同理$g_i(x)<g_j(x)$，则表示$x\in w_j$。
3. 决策面：多类问题中，特征空间被分为多个决策区域，相邻两个决策区域之间是由决策面分开的，且相邻两个决策区域在决策面上的判别函数相等，$g_j(x)=g_i(x)$ 。
4. 贝叶斯分类器可以表示为：分别计算n个判别函数，对n个判别函数进行比较，最终选取与最大判别值对应的类别的分类器。
   

基于正态分布的贝叶斯分类器

1. 单变量正态分布概率密度：$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{(2\sigma {)}^2}}$
2. 多变量正态分布概率密度：$p(x)=\frac{1}{(2\pi {)}^{\frac{1}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}[(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]}$
3. 其中$\mu$为均值 μ = E { x } = ∫ − ∞ ∞ x p ( x ) d x \mu=E\{x\}=\int_{-\infty}^\infty xp(x)dx μ=E{x}=∫−∞∞​xp(x)dx
4. 其中${\sigma }^2$为方差${\sigma }^2={\int }_{-\infty }^{\infty }(x-\mu {)}^{2}p(x)dx$
5. 其中 Σ = E { ( x − μ ) ( x − μ ) T } \Sigma=E\{(x-\mu)(x-\mu)^T\} Σ=E{(x−μ)(x−μ)T}是$d\ast d$的协方差矩阵。正态分布的样本主要集中在均值附近，其分散程度可以用标准差来表示。
6. 多类判别函数：$g_i(x)=lnp(x|w_1)+lnp(w_1)$
7. 那么基于正态分布的判别函数为：$g_i(x)=-\frac{1}{2}(x-{\mu }_i{)}^T{\Sigma }_i^{-1}(x-{\mu }_i)-\frac{d}{2}ln2\pi -\frac{1}{2}ln|{\Sigma }_i|+lnp(w_i)$
8. 决策面为：$g_i(x)=g_j(x)$

三种情况：

1. 协方差矩阵相等且为对角阵，具有相等的方差；
2. 协方差矩阵都相等，但各类均值向量是任意的；
3. 协方差矩阵不相等。