概述,贝叶斯策略,最大似然估计
标签: 模式分类
@author lancelot-vim
绪论
宽度和数量直方图:
光泽度和数量直方图:
宽度-光泽度联合分类图:
简单归纳:
- 从单一特征得到的分类一般不强
- 将单一特征组合起来成多特征分类能得到更强的分类器
- 分类器模型简单(如图中红色线条)会比较弱,分类器太强(如图中蓝色线条)可能会过分类
- 以上问题,可能会存在如果鲈鱼分错,可能不会有太大的问题,但反之可能造成很大的影响
问题:
- 如何选择特征
- 如何选择分类器
- 分类之后如何采取行动
处理方案流程图:
贝叶斯决策论
引言
条件概率密度与贝叶斯公式
P(w1)=23 , P(w2)=13 时的后验概率:
误差定义:
总误差为: P(error)=∫∞−∞p(error,x)dx=∫∞−∞p(error|x)p(x)dx
对 ∀x , 若 p(error|x) 尽量小, 那么 P(error) 就尽量小, 所以令 p(error|x)=min[p(w1|x),p(w2|x)]
连续特征的贝叶斯决策论
- 允许使用多于一个的特征
- 允许使用两种类别以上的情形
- 允许有其他行为而不仅仅只是判定类别
- 通过引入一个更一般的损失函数来代替误差概率
以下4个约定:
1.
{w1,w2,w3,...wc}
表示c个类别(class)
2.
{α1,α2,α3....αa}
表示a中行动(action)
3.
λ(αi|wj)
表示类别为
wj
,采取行为
αi
的损失
4.
x⃗
表示d维的特征
根据贝叶斯公式: p(wj|x⃗ )=p(x⃗ |wj)p(wj)p(x⃗ )
若观测到 x⃗ 0 ,采取行为 αi ,则损失为: R(αi|x⃗ 0) = ∑cj=1λ(αi|wj)p(wj|x⃗ 0)
总损失为:
R=∫R(α(x⃗ )|x⃗ )P(x⃗ )dx⃗
若选择
α(x⃗ )
使得:
R(αi|x⃗ )
对每个
x⃗
尽可能小,则风险函数最小化
对于二分类问题
约定:
1.
α1
对应于
w1
2.
α2
对应于
w2
3.
λij=λ(αi|wj)
表示损失
则损失函数方程为:
若 R(α1|x⃗ )<R(α2|x⃗ ) , 即 (λ21−λ11)p(w1|x⃗ )>(λ12−λ22)p(w2|x⃗ ) ,将该类别判为 w1
若
λ21>λ11
且
p(x⃗ |w1)p(x⃗ |w2)>λ12−λ22λ21−λ11P(w2)P(w1)=θ
, 将该类别判为
w1
, 如下图
极小化极大原则
总损失:
R=∫R1[λ11p(x⃗ |w1)P(w1)+λ12p(x⃗ |w2)P(w2)]dx⃗ +∫R2[λ21p(x⃗ |w1)P(w1)+λ22p(x⃗ |w2)P(w2)]dx⃗
由于 P(w2)=1−P(w1) , ∫R1=1−∫R2 得:
R[P(w1)]=λ22+(λ12−λ22)∫R1p(x⃗ |w2)dx⃗ +P(w1)[(λ11−λ22)+(λ21−λ11)∫R2p(x⃗ |w1)dx⃗ −(λ12−λ22)∫R1p(x⃗ |w2)dx⃗ ]
令 (λ11−λ22)+(λ21−λ11)∫R2p(x⃗ |w1)dx⃗ −(λ12−λ22)∫R1p(x⃗ |w2)dx⃗ =0
可得 R1 , R2 , 以及极小化极大误差: Rmm=λ22+(λ12−λ22)∫R1p(x⃗ |w2)dx⃗ =λ11+(λ21−λ11)∫R2p(x⃗ |w1)dx⃗
极小化极大描述图:
分类器、判别函数和判定面
定义:
一般我们认为对于所有的 j≠i ,有 gi(x⃗ )>gj(x⃗ ) ,则认为该特征向量 x⃗ 的类型为 wi
一般流程如下图:
一般判决函数选择:
- gi(x⃗ )=P(wi|x⃗ )=p(x⃗ |wi)P(wi)∑cj=1p(x⃗ |wj)P(wj)
- gi(x⃗ )=p(x⃗ |wi)P(wi)
- gi(x⃗ )=lnp(x⃗ |wi)+lnP(wi)
正态判别函数
对于正态分布,通常我们取判别函数为
gi(x⃗ )=lnp(x⃗ |wi)+lnP(wi)
,根据正态分布密度函数可得:
gi(x⃗ )=−12(x⃗ −u⃗ i)TΣ−1i(x⃗ −u⃗ i)−d2ln2π−12ln|Σi|+lnP(wi)
情况1 : Σi=σ2I
对此情况, |Σi|=σ2d , Σ−1i=Iσ2 ,由此简化判别函数为:
gi(x⃗ )=−||x⃗ −u⃗ i||2σ2+lnP(wi)=−12σ2[x⃗ Tx⃗ −2ui→Tx⃗ +ui→Tui→]+lnP(wi)
显然
x⃗ Tx⃗
对所有的i是相等的,所以可以简化
gi
为线性判别函数:
gi(x⃗ )=wi→Tx⃗ +wi0
其中 wi→=1σ2ui→ , wi0=−12σ2u⃗ Tiu⃗ i+lnP(wi)
对于 i≠j ,令 gi=gj ,得: w⃗ T(x⃗ −x⃗ 0)=0 ,其中 w⃗ =u⃗ i−u⃗ j,x⃗ 0=12(u⃗ i+u⃗ j)−σ2||u⃗ i−u⃗ j||lnP(wi)P(wj)(u⃗ i−u⃗ j)
由 w⃗ 可见,判别面为数据的法平面,当 P(wi)=P(wj) 时,正好是中垂面
情况2 : Σi=Σ
判别函数可重写为: gi(x⃗ )=−12(x⃗ −u⃗ i)TΣ−1i(x⃗ −u⃗ i)+lnP(wi)
由同样的方法可得:
w⃗ =Σ−1(u⃗ i−u⃗ i),x0=12(u⃗ i+u⃗ j)−ln[P(wi)]/P(wj)](u⃗ i−u⃗ j)TΣ−1(u⃗ i−u⃗ j)(u⃗ i−u⃗ j)
由 w⃗ 可见,判别面为数据马氏距离的法平面,当 P(wi)=P(wj) 时,正好是马氏距离中垂面
最大似然估计
假设每个分类有数据集 D1,D2...Dc 的样本分别都是根据独立同分布的 p(x⃗ |wj) 抽取的,概率分布形式已知,但参数未定,约定未知参数符号为 θ⃗ j ,那么可以写出最大似然函数: L(Dj|θ⃗ j)=Πnk=1p(x⃗ k|θ⃗ j)
我们认为发生的事情为是概率最大的事,所以目标为求得使得 L(Dj|θ⃗ j)) 最大的 θ⃗ j , 一般情况,为了计算方便,我们使用似然函数的对数函数即 l(θ⃗ j)=lnL
高斯解
-
u
未知:
u^=1n∑nk=1x⃗ k - u,Σ 未知: u^=1n∑nk=1x⃗ k,Σ^=1n∑nk=1(x⃗ k−u^)(x⃗ k−u^)T