人工智能原理复习--不确定推理

上一篇

人工智能原理复习–确定性推理

不确定推理概述

常识具有不确定性。
常识往往对环境有极强的依存性。

其中已知事实和知识是构成推理的两个基本要素，不确定性可以理解为在缺少足够信息的情况下做出判断。

要实现对不确定性知识的处理，要解决：1、不确定知识的表示问题 2、不确定信息的计算问题 3、不确定性表示 4、计算的语义解释问题
解决办法：

1. 表示问题：
   规则不确定性($E\to H,f(H,E)$)表示知识的不确定性程度
   证据不确定性($E,C(E)$), 证据E为真的程度，由初始证据，和推出揭露为来源

2. 计算问题：
   指不确定性的传播和更新

   • 不确定性的传递算法
     已知规则E的不确定性C(E) 和规则强度f(H, E) 求C(H)
     $C(H)=f_1(C(E),f(H,E))$
   • 结论不确定合成
     已知两个独立证据 $E_1$ 和 $E_2$ ，求得所求的假设H的不确定性度量C1(H)和 C2(H)求C(H)
     $C(H)=f_2(C1(H),C2(H))$
   • 组合证据不确定算法
     方法：
     1. 最大最小法
        $C(E1\wedge E2)=min(C(E1),C(E2))$
        $C(E1\vee E2)=max(C(E1),C(E2))$
     2. 概率方法
        $C(E1\wedge E2)=C(E1)\ast C(E2)$
        $C(E1\vee E2)=C(E1)+C(E2)-C(E1)\ast C(E2)$
     3. 有界方法
        C ( E 1 ∧ E 2 ) = m a x { 0 , C ( E 1 ) + C ( E 2 ) − 1 } C(E1 \land E2) = max\{0, C(E1) + C(E2) - 1 \} C(E1∧E2)=max{0,C(E1)+C(E2)−1}
        C ( E 1 ∨ E 2 ) = m i n { 1 , C ( E 1 ) + C ( E 2 ) } C(E1 \lor E2) = min\{1, C(E1) + C(E2) \} C(E1∨E2)=min{1,C(E1)+C(E2)}

3. 语义问题：
   表示问题可以使用概率论或模糊数学

不确定性推理方法分类：

1. 在推理一级上拓展不确定性推理的方法（模型方法）
2. 在控制策略级处理不确定性的方法（控制方法）

模型方法分为：

1. 数值方法， 如概率方法
2. 非数值方法，如古典逻辑方法，非单调推理方法

主观Bayes(贝叶斯)方法

传统贝叶斯方法
先验概率：p(事件)在没有知识支持它的出现或不出现的情况下赋给这个事件的概率，即先于证据的概率
后验概率：p(事件 / 证据)给定一些证据的条件下这个实践发生的概率

$P\Rightarrow Q$的不确定表示后验概率$p(Q/P)$

条件概率公式：
$$p(Q/P)=\frac{p(PQ)}{p(p)}=\frac{p(P/Q)\ast p(Q)}{p(P)}$$

传统贝叶斯理论需要获取大量样本时间来统计$p(P),p(Q),p(P/Q)$
但是有些同类事件发生的频率不高

主观贝叶斯方法

由于传统贝叶斯中的先验概率$p(P)$很难获得，所以要消去$p(P)$


定义先验几率：
$$Q的先验几率为O(Q)=\frac{p(Q)}{p(\neg Q)}$$
$$Q的后验几率为O(Q/P)=\frac{p(Q/P)}{p(\neg Q/P)}$$
$$LS为充分性因子=\frac{p(P/Q)}{p(P/\neg Q)}$$

充分因子表示P成立对Q成立的影响力

因此$O(Q/P)=LS\ast O(Q)$称为Bayes公式的似然形式

同理可以推出：
$$\frac{p(Q/\neg P)}{p(\neg Q/\neg P)}=\frac{p(\neg P/Q)}{p(\neg P/\neg Q)}\ast O(Q)$$

定义： $$LN为必要性因子=\frac{p(\neg P/Q)}{p(\neg P/\neg Q)}$$

$O(Q/P)=LS\ast O(Q)$

对LS—充分性因子

• =1时 P对Q无影响
• >1时 P支持Q
• <1时 P不支持Q

表示P成立对Q成立的影响力

$O(Q/\neg P)=LN\ast O(Q)$

对LN—必要性因子

• =1时 $\neg P$对Q无影响
• >1时 $\neg P$支持Q
• <1时 $\neg P$不支持Q

表示P不成立对Q成立的影响力

而专家系统，基于专家主观估计的LS（和LN）而验算出来的后验概率p(Q/P)称为主观概率。

所以

---

$$p(Q/P)=\frac{LS\ast O(Q)}{LS\ast O(Q)+1}=\frac{O(Q/P)}{O(Q/P)+1}$$
$$p(Q/\neg P)=\frac{LN\ast O(Q)}{LN\ast O(Q)+1}$$

---

贝叶斯方法的传递

若$P^{\prime }\Rightarrow P\Rightarrow Q$, 给出$p(P/P^{\prime })$, 则我们要求$p(Q/P^{\prime })$

• 加法原理：
  $p(A\vee B)=p(A)+p(B)$
  $p(Q)=p(Q,P)+p(Q,\neg P)$
• 乘法原理：
  $p(AB)=p(A/B)p(B)=p(B/A)p(A)$
  扩展形式
  $p(ABC)=p(A/BC)p(B/C)p(C)$

同理可以传递更长路径：
$P^{\prime }\Rightarrow P\Rightarrow Q\Rightarrow W$
$p(W/P^{\prime })=p(W/Q)\ast p(Q/P^{\prime })+p(W/\neg Q)\ast p(\neg Q/P^{\prime })$
而$p(Q/P^{\prime })=p(Q/P)\ast p(P/P^{\prime })+p(Q/\neg P)\ast p(\neg P/P^{\prime })$由上面已知

以此递归可求；

---

根据$p(P/P^{\prime })的值，p(Q/P^{\prime })值也会不同$

但是当$p(P/P^{\prime })的值位于折点之间时$
共有两条直线，而为与这两条直线上时
分段线性插值手段：

分享一下我的记忆方法

---

不确定性的组合
当多个相互独立的前提$P_i$支持同一结论Q的情况，表示为：
$P_1^{\prime }\Rightarrow P_1\Rightarrow Q$
$P_2^{\prime }\Rightarrow P_2\Rightarrow Q$
有$P_1^{\prime }{P}_2^{\prime }\Rightarrow Q$

$$O(Q|P_1^{\prime }{P}_2^{\prime })=\frac{O(Q|P_1^{\prime })}{O(Q)}\ast \frac{O(Q|P_2^{\prime })}{O(Q)}\ast O(Q)$$
$$p(Q|P_1^{\prime }{P}_2^{\prime })=\frac{O(Q|P_1^{\prime }{P}_2^{\prime })}{O(Q|P_1^{\prime }{P}_2^{\prime })+1}$$

单箭头同样适用

主观贝叶斯的优点：1. 基于概率模型，具有坚实的理论基础，是目前不确定推理中最成熟的方法之一
缺点：1. 需要大量的概率数据来构造知识库，并且那一解释 2. 要求原始证据具有相互独立性

可信度方法

该方法采用可信度CF作为不确定性的度量，通过对CF(H, E)的计算，探讨证据E对假设H的定量支持程度，因此也称为C-F模型。

$$CF(H,E)=MB(H,E)-MD(H,E)$$
MB(H, E) = a —信任度量
证据E成立使结论H的可信度增加了数量a

MD(H, E) = B —不信任度量
证据E成立使结论H的不可信度增加了数量b

MB(H, E)和MD(H, E)不能同时大于0，因为同一证据E不能既增加结论H的可信度，又增强不可信度

因此：

可信度性质：

(4)对H的信任增长度等于对非H的不信任增长度
$MD(\neg H,E)=MB(H,E)$
对H的可信度与非H的可信度之和等于0
$CF(H,E)+CF(\neg H,E)=0$
可信度不是概率

(5)对同一个前提E，若支持若干个不同的结论 $H_i$则$\sum CF(H_i,E)<=1$
所以如果出现$CF(H_1,E)=0.7,CF(H_2,E)=0.4$是不符合的要进行调整

由于实际应用中P(H)和P(H|E)的值很难获得，所以CF(H,E)的值应有领域专家给出

可信度的计算：
产生式规则表示
$IfEThenH(CF(H,E))$
E为前提，H为结论，CF(H, E)为规则的可信度所描述的是知识的静态强度

证据E的不确定性也是用CF表示为CF(E), 其取值范围为[-1, 1]
当E为真时：CF(E) = 1
当E为假时：CF(E) = -1
当E一无所知时：CF(E) = 0
CF(E)所描述的是证据的动态强度。

组合证据不确定性的计算
采用最大值最小值的形式
当组合证据是单一证据的合取($\wedge$)时取$min$
当组合证据是单一证据的析取($\vee$)时取$max$
$CF(\neg E)=\neg CF(E)$

不确定性的推理算法

1. 证据肯定存在时(CF(E) = 1)时
   有 CF(H) = CF(H, E)

2. 证据不是肯定存在的$(CF(E)\ne 1)$时
   C F ( H ) = C F ( H , E ) ∗ m a x { 0 , C F ( E ) } CF(H) = CF(H, E) * max\{0, CF(E)\} CF(H)=CF(H,E)∗max{0,CF(E)}
   这说明该模型没有考虑证据为假时对结论H所产生的影响

当是组合证据时


MYCIN优化
MYCIN定义：
C F = M B − M D 1 − m i n { M B , M D } CF = \frac{MB - MD}{1 - min\{ MB, MD\}} CF=1−min{MB,MD}MB−MD​
这样可以削弱一个反面证据对多个正面证据的影响
同时提出规则前提的CF值必须 > 0.2的门阀值

优点：1. 具有简洁直观的优点。通过简单的计算，不确定性就可以在系统中传播，并且具有线性复杂度 2. 容易理解，将不信任和信任清楚的区分开来
缺点：1. 可能与条件概率的出的结果相反 2. MYCIN一般应用于短推理链，长了会有问题 3. 可能导致累计误差 4. 组合规则的顺序不同可能得到不同的结果

证据理论

用一个概率范围而不是单个概率值取模拟不确定性
可信度可以看作是证据理论的一个特例，同时给了可信度一个理论性的基础
在证据理论中，可以分别用信任函数、似然函数及类概率函数来描述精确信任度、不可驳斥信任度及估计信任度，可以从各个不同角度刻画命题的不确定性

采用集合表示命题，先建立命题与集合之间一一对应关系，把命题的不确定性问题转换成集合的不确定问题

概率分配函数

例：

信任函数
定义：在Bel: $2^{\Omega \to [0,1]}$ 对任意的 $A\subseteq \Omega$有，
$$Bel(A)=\sum _{B\subseteq A}m(B)$$
Bel(A)表示当前环境下，对假设集A的信任程度，其值为A的所有子集的基本概率之和，表示对A的总的信任度

似然函数
定义：Pl： $2^{\Omega \to [0,1]}$ 对任意的 $A\subseteq \Omega$有
$$Pl(A)=1-Bel(\neg A)$$
其中，$\neg A=\Omega -A$
似然函数称为不可驳斥函数或上限函数
由于Bel(A)表示对A为真的信任度，$Bel(\neg A)$ 表示对$\neg A$的信任度， 因此Pl(A)表示对A为非假的信任度。

推论
$$Pl(A)=\sum _{A\cap B\ne \varnothing }m(B)$$

信任函数和似然函数的性质

1. $Bel(\varnothing )=0,Bel(\Omega )=1,Pl(\varnothing )=0,Pl(\Omega )=1$
2. 如果 $A\subseteq B,$ 则
   $Bel(A)<=Bel(B),Pl(A)<=Pl(B)$
3. $\forall A\subseteq \Omega ,Pl(A)>=Bel(A)$
4. $\forall A\subseteq \Omega ,Bel(A)+Bel(\neg A)<=1,$
   $Pl(A)+Pl(\neg A)>=1$

信任区间
分别用Bel(A)和Pl(A)为对A信任程度的下限和上限，
记为：
$$A(Bel(A),Pl(A))$$
$Pl(A)-Bel(A)$表示既不信任A,也不信任$\neg A$的程度, 即对于A是真是假不知道的程度。

类概率函数
$$f(A)=Bel(A)+\frac{|A|}{|\Omega |}\ast (Pl(A)-Bel(A))$$
其中|A|、|$\Omega$|分别表示A和$\Omega$中包含元素个数
类概率函数 $f(A)$也可以用来度量证据A的不确定性。

性质：

1. $f(\varnothing )=0,f(\Omega )=1$
2. $\forall A\subseteq \Omega ,0<=f(A)<=1$
3. $\forall A\subseteq \Omega ,Bel(A)<=f(A)<=Pl(A)$
4. $\forall A\subseteq \Omega ,f(\neg A)=1-f(A)$

证据的组合函数

注意：

1. 如果K $\ne$ 0，则正交和m也是一个概率分配函数
2. 如果K = 0，则不存在正交和m， 称m1 与 m2矛盾

具有不确定的推理规则可表示为：
$$ifEThenH,CF$$
H可表示为: H = {$a_1,a_2...a_m$}H为假设集合 $\Omega$的子集
CF = {$c_1,c_2...c_m$}其中$c_i>=0$，$\sum c_i<=1$

定义：
m ( { a i } ) = f ( E ) ∗ c i m(\{ a_i\}) = f(E)*c_i m({ai​})=f(E)∗ci​

规定 m ( Ω ) = 1 − ∑ m ( { a i } ) m(\Omega) = 1 - \sum m(\{a_i\}) m(Ω)=1−∑m({ai​})
对于$\Omega$的所有其他子集H，均有m(H) = 0
当H为$\Omega$的真子集时有
B e l ( H ) = ∑ m ( B ) = ∑ m ( { a i } ) Bel(H) = \sum m(B) = \sum m(\{ a_i\}) Bel(H)=∑m(B)=∑m({ai​})

---

合取($\wedge$)取$min$
析取($\vee$)取$max$
与求可信度方法类似；

---

不确定性的组合
步骤：

$A_1\to A$
$A_2\to A$
$m_{A_1}=f(A_1)\ast c_1$
$m_{A_2}=f(A_2)\ast c_2$
$m_{A_{对应元素}}=m_{A_1}\oplus m_{A_2}$
$再根据m_A求出f(A)$

优点：能够满足比概率论更弱的公理系统，可以区分不知道和不确定的情况，可以依赖证据积累，不断缩小集合。
缺点：证据的独立性不易保证

下一篇

人工智能原理复习–搜索策略（一）