2.1 引言
- 假定要对一角或者五角的硬币进行分类,在未对样本进行观测的情况下,人们一般会选择先验概率较大的决策规则,即
如果 P ( ω 1 ) > P ( ω 2 ) , 则 x ∈ ω 1 ; 反之,则 ∈ ω 2 ( 2 − 1 ) 如果P(\omega_1) > P(\omega_2),则x\isin\omega_1;反之,则\isin\omega_2\quad(2-1) 如果P(ω1)>P(ω2),则x∈ω1;反之,则∈ω2(2−1)
在二分类的情况下, P ( ω 1 ) + P ( ω 2 ) = 1 P(\omega_1)+P(\omega_2) = 1 P(ω1)+P(ω2)=1。
如果决策 x ∈ ω 1 x\isin\omega_1 x∈ω1,错误率(决策错误的概率):
P ( e r r o r ) = 1 − P ( ω 1 ) = P ( ω 2 ) P(error)=1-P(\omega_1)=P(\omega_2) P(error)=1−P(ω1)=P(ω2)
式(2-1)即为最小错误率准则。 - 假定仍然不允许看硬币,但是允许你用天平来称量硬币的重量,并根据重量来做决策。即已知这枚硬币重量为
x
x
x的情况下硬币属于各类的概率,分别记为
P
(
ω
1
∣
x
)
P(\omega_1|x)
P(ω1∣x)与
P
(
ω
2
∣
x
)
P(\omega_2|x)
P(ω2∣x),这种概率称作后验概率。此时的决策规则为
如果 P ( ω 1 ∣ x ) > P ( ω 2 ∣ x ) , 则 x ∈ ω 1 ; 反之,则 x ∈ ω 2 ( 2 − 2 ) 如果P(\omega_1|x)>P(\omega_2|x),则x\isin\omega_1;反之,则x\isin\omega_2\quad(2-2) 如果P(ω1∣x)>P(ω2∣x),则x∈ω1;反之,则x∈ω2(2−2)
如果决策 x ∈ ω 1 x\isin\omega_1 x∈ω1,错误率:
P ( e r r o r ) = 1 − P ( ω 1 ∣ x ) = P ( ω 2 ∣ x ) P(error)=1-P(\omega_1|x)=P(\omega_2|x) P(error)=1−P(ω1∣x)=P(ω2∣x)
式(2-2)仍为最小错误率决策。
根据贝叶斯公式:
P ( ω i ∣ x ) = p ( x , ω i ) p ( x ) = p ( x ∣ ω i ) P ( ω i ) p ( x ) , i = 1 , 2 ( 2 − 3 ) P(\omega_i|x) = \dfrac{p(x,\omega_i)}{p(x)} = \dfrac{p(x|\omega_i)P(\omega_i)}{p(x)}, i= 1,2\quad(2-3) P(ωi∣x)=p(x)p(x,ωi)=p(x)p(x∣ωi)P(ωi),i=1,2(2−3)
式(2-3)中分母部分相等,因此只需要比较分子上的两项即可,即
如果 p ( x ∣ ω 1 ) P ( ω 1 ) > p ( x ∣ ω 2 ) P ( ω 2 ) , 则 x ∈ ω 1 ; 反之,则 x ∈ ω 2 ( 2 − 4 ) 如果 p(x|\omega_1)P(\omega_1)>p(x|\omega_2)P(\omega_2),则x\isin\omega_1;反之,则x\isin\omega_2\quad(2-4) 如果p(x∣ω1)P(ω1)>p(x∣ω2)P(ω2),则x∈ω1;反之,则x∈ω2(2−4)
以上就是贝叶斯决策的基本思想。 - 对两类问题,在样本 x x x上错误的概率为:
-
p
(
e
∣
x
)
=
{
P
(
ω
2
∣
x
)
if 决策
x
∈
ω
1
P
(
ω
1
∣
x
)
if 决策
x
∈
ω
2
(
2
−
5
)
p(e|\textbf{x}) =\begin{cases} P(\omega_2|\textbf{x}) &\text{if } 决策\textbf{x}\isin\omega_1 \\ P(\omega_1|\textbf{x}) &\text{if } 决策\textbf{x}\isin\omega_2 \end{cases}\quad(2-5)
p(e∣x)={P(ω2∣x)P(ω1∣x)if 决策x∈ω1if 决策x∈ω2(2−5)
错误率为满足独立同分布的样本上错误概率的期望,即
P ( e ) = ∫ P ( e ∣ x ) p ( x ) d x ( 2 − 6 ) P(e) = \int P(e|\textbf{x})p(\textbf{x})dx\quad(2-6) P(e)=∫P(e∣x)p(x)dx(2−6)
2.2 最小错误率贝叶斯决策
最小错误率贝叶斯决策是使式(2-6)最小化,即
min
P
(
e
)
=
∫
P
(
e
∣
x
)
p
(
x
)
d
x
(
2
−
7
)
\min P(e) = \int P(e|\textbf{x})p(\textbf{x})dx\quad (2-7)
minP(e)=∫P(e∣x)p(x)dx(2−7)
在2.1的讨论中,最小错误率贝叶斯决策可表示为:
如果
P
(
ω
1
∣
x
)
≷
P
(
ω
2
∣
x
)
,
则
x
∈
{
ω
1
ω
2
(
2
−
8
)
如果P(\omega_1|x)\gtrless P(\omega_2|x),则x\isin \begin{cases} \omega_1 \\ \omega_2 \end{cases} \quad (2-8)
如果P(ω1∣x)≷P(ω2∣x),则x∈{ω1ω2(2−8)
其中后验概率用贝叶斯公式求得:
P
(
ω
i
∣
x
)
=
p
(
x
∣
ω
i
)
P
(
ω
i
)
p
(
x
)
=
p
(
x
∣
ω
i
)
P
(
ω
i
)
∑
j
=
1
2
p
(
x
∣
ω
j
)
P
(
ω
j
)
,
i
=
1
,
2
(
2
−
9
)
P(\omega_i|x)=\dfrac {p(x|\omega_i)P(\omega_i)} {p(x)} = \dfrac{p(x|\omega_i)P(\omega_i)} {\sum\limits_{j=1}^2 p(x|\omega_j) P(\omega_j)},\quad i=1,2\quad (2-9)
P(ωi∣x)=p(x)p(x∣ωi)P(ωi)=j=1∑2p(x∣ωj)P(ωj)p(x∣ωi)P(ωi),i=1,2(2−9)
等价形式:
- 若 P ( ω i ∣ x ) = max j = 1 , 2 P ( ω j ∣ x ) , 则 x ∈ ω i ( 2 − 10 ) 若P(\omega_i|x)=\max\limits_{j=1,2}P(\omega_j|x),则x \isin \omega_i \quad (2-10) 若P(ωi∣x)=j=1,2maxP(ωj∣x),则x∈ωi(2−10)
- 若 p ( x ∣ ω i ) P ( ω i ) = max j = 1 , 2 P ( x ∣ ω j ) P ( ω j ) , 则 x ∈ ω i ( 2 − 11 ) 若p(x|\omega_i)P(\omega_i) = \max\limits_{j=1,2}P(x|\omega_j)P(\omega_j),则x\isin \omega_i \quad (2-11) 若p(x∣ωi)P(ωi)=j=1,2maxP(x∣ωj)P(ωj),则x∈ωi(2−11)
- 若 l ( x ) = p ( x ∣ ω 1 ) p ( x ∣ ω 2 ) ≷ λ = P ( ω 2 ) P ( ω 1 ) ,则 x ∈ { ω 1 ω 2 ( 2 − 12 ) 若l(x) = \dfrac{p(x|\omega_1)}{p(x|\omega_2)} \gtrless \lambda = \dfrac{P(\omega_2)}{P(\omega_1)},则x \isin \begin{cases} \omega_1 \\ \omega_2 \end{cases} \quad (2-12) 若l(x)=p(x∣ω2)p(x∣ω1)≷λ=P(ω1)P(ω2),则x∈{ω1ω2(2−12)
-
若
h
(
x
)
≶
ln
P
(
ω
1
)
P
(
ω
2
)
,则
x
∈
{
ω
1
ω
2
(
2
−
13
)
若h(x) \lessgtr \ln\dfrac{P(\omega_1)}{P(\omega_2)},则x \isin \begin{cases} \omega_1 \\ \omega_2 \end{cases} \quad (2-13)
若h(x)≶lnP(ω2)P(ω1),则x∈{ω1ω2(2−13)
错误率:
P ( e ) = P(e)= P(e)= ∫ − ∞ t P ( ω 2 ∣ x ) p ( x ) d x + ∫ t + ∞ P ( ω 1 ∣ x ) p ( x ) d x = ∫ − ∞ t P ( x ∣ ω 2 ) p ( ω 2 ) d x + ∫ t + ∞ P ( x ∣ ω 1 ) p ( ω 1 ) d x ( 2 − 14 ) = P ( ω 2 ) ∫ R 1 p ( x ∣ ω 2 ) d x + P ( ω 1 ) ∫ R 2 p ( x ∣ ω 1 ) d x = P ( ω 2 ) P 2 ( e ) + P ( ω 1 ) P 1 ( e ) ( 2 − 15 ) \int_{-\infty}^t P(\omega_2|x)p(x)dx+\int_t^{+\infty}P(\omega_1|x)p(x)dx \newline \qquad =\int_{-\infty}^t P(x|\omega_2) p(\omega_2) dx + \int_t^{+\infty} P(x|\omega_1) p(\omega_1) dx \quad (2-14) \newline \qquad = P(\omega_2) \int_{R_1}p(x|\omega_2)dx + P(\omega_1) \int_{R_2} p(x|\omega_1)dx \newline \qquad = P(\omega_2) P_2(e) + P(\omega_1) P_1(e) \quad (2-15) ∫−∞tP(ω2∣x)p(x)dx+∫t+∞P(ω1∣x)p(x)dx=∫−∞tP(x∣ω2)p(ω2)dx+∫t+∞P(x∣ω1)p(ω1)dx(2−14)=P(ω2)∫R1p(x∣ω2)dx+P(ω1)∫R2p(x∣ω1)dx=P(ω2)P2(e)+P(ω1)P1(e)(2−15)
其中
P 1 ( e ) = ∫ R 2 p ( x ∣ ω 1 ) d x ( 2 − 16 a ) P_1(e) = \int_{R_2}p(x|\omega_1)dx \quad (2-16a) P1(e)=∫R2p(x∣ω1)dx(2−16a)
P 2 ( e ) = ∫ R 1 p ( x ∣ ω 2 ) d x ( 2 − 16 b ) P_2(e) = \int_{R_1}p(x|\omega_2)dx \quad (2-16b) P2(e)=∫R1p(x∣ω2)dx(2−16b)
多类情况下,最小错误率贝叶斯决策:
若 P ( ω i ∣ x ) = max j = 1 , … , c P ( ω j ∣ x ) ,则 x ∈ ω i ( 2 − 17 a ) 若P(\omega_i|x) = \max\limits_{j=1,…,c}P(\omega_j|x),则x \isin \omega_i \quad (2-17a) 若P(ωi∣x)=j=1,…,cmaxP(ωj∣x),则x∈ωi(2−17a)
或
p ( x ∣ ω i ) P ( ω i ) = max j = 1 , … , c p ( x ∣ ω j ) P ( ω j ) ,则 x ∈ ω i ( 2 − 17 b ) p(x|\omega_i) P(\omega_i) = \max\limits_{j=1,…,c} p(x|\omega_j)P(\omega_j),则x \isin \omega_i \quad (2-17b) p(x∣ωi)P(ωi)=j=1,…,cmaxp(x∣ωj)P(ωj),则x∈ωi(2−17b)
由于错分的情况很多,可以通过计算平均正确率
P ( c ) = ∑ j = 1 c P ( x ∈ R j ∣ ω j ) P ( ω j ) = ∑ j = 1 c ∫ R j p ( x ∣ ω j ) P ( ω j ) d x ( 2 − 18 ) P(c) = \sum\limits_{j=1}^c P(x \isin R_j | \omega_j) P(\omega_j) = \sum\limits_{j=1}^c \int_{R_j} p(x|\omega_j) P(\omega_j) dx \quad (2-18) P(c)=j=1∑cP(x∈Rj∣ωj)P(ωj)=j=1∑c∫Rjp(x∣ωj)P(ωj)dx(2−18)
并用
P ( e ) = 1 − P ( c ) = 1 − ∑ j = 1 c P ( ω j ) ∫ R j p ( x ∣ ω j ) d x ( 2 − 19 ) P(e) = 1 - P(c) = 1 - \sum\limits_{j=1}^c P(\omega_j) \int_{R_j} p(x|\omega_j) dx \quad (2-19) P(e)=1−P(c)=1−j=1∑cP(ωj)∫Rjp(x∣ωj)dx(2−19)
计算平均错误率
2.3 最小风险贝叶斯决策
在实际问题中不同的决策可能带来不同的损失,因此常用决策表将不同决策的损失表示出来,其中
α
\alpha
α为决策。
λ
(
α
i
,
ω
j
)
,
i
=
1
,
…
…
,
k
,
j
=
1
,
…
…
,
c
(
2
−
20
)
\lambda (\alpha_i , \omega_j),i=1,……,k,\quad j=1,……,c \quad (2-20)
λ(αi,ωj),i=1,……,k,j=1,……,c(2−20)
对于某个样本
x
x
x,它属于各个状态的后验概率为
P
(
ω
j
∣
x
)
,
j
=
1
,
…
,
c
P(\omega_j|x),j=1,…,c
P(ωj∣x),j=1,…,c,对它采取决策
α
i
,
i
=
1
,
…
,
k
\alpha_i,i=1,…,k
αi,i=1,…,k的期望损失为:
R
(
α
i
∣
x
)
=
E
[
λ
(
α
i
,
ω
j
)
∣
x
]
=
∑
j
=
1
c
λ
(
α
i
,
ω
j
)
P
(
ω
j
∣
x
)
,
i
=
1
,
…
,
k
(
2
−
21
)
R(\alpha_i|x)=E[\lambda(\alpha_i,\omega_j)|x] = \sum\limits_{j=1}^c \lambda(\alpha_i,\omega_j)P(\omega_j|x),i=1,…,k \quad (2-21)
R(αi∣x)=E[λ(αi,ωj)∣x]=j=1∑cλ(αi,ωj)P(ωj∣x),i=1,…,k(2−21)
设有某一决策规则
α
(
x
)
\alpha(x)
α(x),它对特征空间中所有可能的样本
x
x
x采取决策所造成的期望损失是
R
(
α
)
=
∫
R
(
α
(
x
)
∣
x
)
p
(
x
)
d
x
(
2
−
22
)
R(\alpha) = \int R(\alpha(x)|x) p(x) dx\quad (2-22)
R(α)=∫R(α(x)∣x)p(x)dx(2−22)
R
(
α
)
R(\alpha)
R(α)称作平均风险或期望风险。最小风险贝叶斯决策就是最小化这一期望风险,即
min
α
R
(
α
)
(
2
−
23
)
\min\limits_\alpha R(\alpha) \quad (2-23)
αminR(α)(2−23)
将不影响结果的项去掉,化简为
若
R
(
α
i
∣
x
)
=
min
j
=
1
,
…
,
k
R
(
α
j
∣
x
)
,
则
α
=
α
i
(
2
−
24
)
若R(\alpha_i|x) = \min\limits_{j=1,…,k} R(\alpha_j|x),则\alpha = \alpha_i \quad (2-24)
若R(αi∣x)=j=1,…,kminR(αj∣x),则α=αi(2−24)
计算步骤:
- 利用贝叶斯公式计算后验概率
P ( ω j ∣ x ) = p ( x ∣ ω j ) P ( ω j ) ∑ i = 1 c p ( x ∣ ω i ) P ( ω i ) , j = 1 , … , c ( 2 − 25 ) P(\omega_j|x) = \dfrac{p(x|\omega_j) P(\omega_j)} {\sum\limits_{i=1}^c p(x|\omega_i) P(\omega_i)},j=1,…,c\quad (2-25) P(ωj∣x)=i=1∑cp(x∣ωi)P(ωi)p(x∣ωj)P(ωj),j=1,…,c(2−25) - 利用决策表,计算条件风险
R ( α i ∣ x ) = ∑ j = 1 c λ ( α i ∣ ω j ) P ( ω j ∣ x ) , i = 1 , … , k ( 2 − 26 ) R(\alpha_i|x) = \sum\limits_{j=1}^c \lambda(\alpha_i|\omega_j) P(\omega_j|x), i = 1,…,k \quad(2-26) R(αi∣x)=j=1∑cλ(αi∣ωj)P(ωj∣x),i=1,…,k(2−26) - 决策:
α = arg min i = 1 , … , k R ( α i ∣ x ) ( 2 − 27 ) \alpha = \argmin\limits_{i=1,…,k} R(\alpha_i|x) \quad(2-27) α=i=1,…,kargminR(αi∣x)(2−27)
特别的
在二分类且没有拒绝的情况下,最小风险贝叶斯决策为:
若 λ 11 P ( ω 1 ∣ x ) + λ 12 P ( ω 2 ∣ x ) ≶ λ 21 P ( ω 1 ∣ x ) + λ 22 P ( ω 2 ∣ x ) ,则 x ∈ { ω 1 ω 2 ( 2 − 28 ) 若\lambda_{11} P(\omega_1|x) + \lambda_{12} P(\omega_2|x) \lessgtr \lambda_{21} P(\omega_1|x) + \lambda_{22} P(\omega_2|x),则x \isin \begin{cases} \omega_1 \\ \omega_2 \end{cases} \quad(2-28) 若λ11P(ω1∣x)+λ12P(ω2∣x)≶λ21P(ω1∣x)+λ22P(ω2∣x),则x∈{ω1ω2(2−28)
等价形式:
- 若 ( λ 11 − λ 21 ) P ( ω 1 ∣ x ) ≶ ( λ 22 − λ 12 ) P ( ω 2 ∣ x ) ,则 x ∈ { ω 1 ω 2 ( 2 − 29 ) 若(\lambda_{11} - \lambda_{21}) P(\omega_1|x) \lessgtr (\lambda_{22} - \lambda_{12}) P(\omega_2|x),则x \isin \begin{cases} \omega_1 \\ \omega_2 \end{cases} \quad(2-29) 若(λ11−λ21)P(ω1∣x)≶(λ22−λ12)P(ω2∣x),则x∈{ω1ω2(2−29)
- 若 P ( ω 1 ∣ x ) P ( ω 2 ∣ x ) = p ( x ∣ ω 1 ) P ( ω 1 ) p ( x ∣ ω 2 ) P ( ω 2 ) ≷ λ 22 − λ 12 λ 11 − λ 21 = λ 12 − λ 22 λ 21 − λ 11 ,则 x ∈ { ω 1 ω 2 ( 2 − 30 ) 若\dfrac {P(\omega_1|x)} {P(\omega_2|x)} = \dfrac {p(x|\omega_1)P(\omega_1)} {p(x|\omega_2)P(\omega_2)} \gtrless \dfrac {\lambda_{22} - \lambda_{12}} {\lambda_{11} - \lambda_{21}} = \dfrac {\lambda_{12} - \lambda_{22}} {\lambda_{21} - \lambda_{11}},则x \isin \begin{cases} \omega_1 \\ \omega_2 \end{cases} \quad(2-30) 若P(ω2∣x)P(ω1∣x)=p(x∣ω2)P(ω2)p(x∣ω1)P(ω1)≷λ11−λ21λ22−λ12=λ21−λ11λ12−λ22,则x∈{ω1ω2(2−30)
- 若 l ( x ) = p ( x ∣ ω 1 ) p ( x ∣ ω 2 ) ≷ P ( ω 2 ) P ( ω 1 ) ∙ λ 12 − λ 22 λ 21 − λ 11 ,则 x ∈ { ω 1 ω 2 ( 2 − 31 ) 若l(x) = \dfrac{p(x|\omega_1)} {p(x|\omega_2)} \gtrless \dfrac {P(\omega_2)} {P(\omega_1)} \bull \dfrac {\lambda_{12}-\lambda_{22}} {\lambda_{21}-\lambda_{11}},则x \isin \begin{cases} \omega_1 \\ \omega_2 \end{cases} \quad(2-31) 若l(x)=p(x∣ω2)p(x∣ω1)≷P(ω1)P(ω2)∙λ21−λ11λ12−λ22,则x∈{ω1ω2(2−31)
参考
张学工. 模式识别. 第三版. 北京:清华大学出版社,2010
张学工,汪小我. 模式识别与机器学习. 第四版. 北京:清华大学出版社,2021
部分图片来源于网络