人工智能 4.不确定性推理方法

目录

 

概述

不确定性推理的含义

基本问题

不确定性推理的类型

可信度推理模型

知识不确定性的表示:

可信度的定义:

可信度的性质

证据不确定性的表示

不确定性的更新

结论不确定性的合成

主观Bayes方法的概率论基础

全概率公式

Bayes公式

推导

知识不确定性的表示

证据不确定性的表示

不确定性的更新


概述

不确定性推理的含义

泛指除精确推理以外的其它各种推理问题。包括不完备、不精确知识的推理,模糊知识的推理,非单调性推理等。

采用不确定性推理因:

    所需知识不完备、不精确

    所需知识描述模糊

    多种原因导致同一结论

解题方案不唯一

基本问题

不确定性的表示:

(1) 知识的不确定性的表示

    含义:知识的确定性程度,或动态强度

    表示:用概率,在[0,1]区间取值,越接近于0越假,越接近于1越真

          用可信度,在[-1,1]区间取值,大于0接近于真,小于0接近于假

          用隶属度,在[0,1]区间取值,越接近于0隶属度越低,反之越高

(2) 证据不确定性的表示

    证据的类型:按组织:基本证据,组合证据

                按来源:初始证据,中间结论

    表示方法:概率,可信度,隶属度等

    基本证据:常与知识表示方法一致,如概率,可信度,隶属度等

    组合证据:组合方式:析取的关系,合取的关系。

              计算方法:基于基本证据,最大最小方法,概率方法,有界方法 等。

不确定性的匹配:

含义

    不确定的前提条件与不确定的事实匹配

问题

    前提是不确定的,事实也是不确定的

方法

    设计一个计算相似程度的算法,给出相似的限度

标志

相似度落在规定限度内为匹配,否则为不匹配

不确定性的更新,不确定性结论的合成:

4. 不确定性的更新

    主要问题

    ① 如何用证据的不确定性去更新结论的不确定性

    ② 如何在推理中把初始证据的不确定性传递给最终结论

    解决方法

    对①,不同推理方法的解决方法不同

    对②,不同推理方法的解决方法基本相同,即把当前结论及其不确定性作为新的结论放入综合数据库,依次传递,直到得出最终结论

5. 不确定性结论的合成

    含义:多个不同知识推出同一结论,且不确定性程度不同

方法:视不同推理方法而定

不确定性推理的类型

 

可信度推理模型

知识不确定性的表示:

表示形式:

    在C-F模型中,知识是用产生式规则表示的,其一般形式为:

            IF   E   THEN   H  (CF(H, E)) 

其中,E是知识的前提条件;H是知识的结论;CF(H, E)是知识的可信度。

    说明:

     ①  E可以是单一条件,也可以是复合条件。

     ②  H可以是单一结论,也可以是多个结论

     ③  CF是知识的静态强度,CF(H, E)的取值为[-1, 1],表示当E为真时,证据对H的支持程度,其值越大,支持程度越大。

     例子:

           IF   发烧    AND  流鼻涕   THEN   感冒   (0.8)

表示当某人确实有“发烧”及“流鼻涕”症状时,则有80%的把握是患了感冒。

可信度的定义:

在CF模型中,把CF(H, E)定义为

           CF(H, E)=MB(H, E)-MD(H, E)

式中MB称为信任增长度,MB(H, E)的定义为

MD称为不信任增长度,MD(H, E)的定义为

    MB和MD的关系

    当MB(H, E)>0时,有P(H|E)>P(H),即E的出现增加了H的概率

    当MD(H, E)>0时,有P(H|E)<P(H) ,即E的出现降低了H的概率

    根据前面对CF(H, E)可信度 、MB(H, E)信任增长度、MD(H, E)不信增长度的定义,可得到CF(H, E)的计算公式:

分别解释CF(H,E)>0,CF(H,E)=0,CF(H,E)<0

可信度的性质

    (1)  互斥性

 对同一证据,它不可能既增加对H的信任程度,又同时增加对H的不信任程度,这说明MB与MD是互斥的。即:

         当MB(H, E)>0时,MD(H, E)=0

         当MD(H, E)>0时,MB(H, E)=0

(2) 值域

    (3) 典型值

 当CF(H,E)=1时,有P(H/E)=1,它说明由于E所对应证据的出现使H为真。此时,MB(H, E)=1,MD(H, E)=0。

    当CF(H,E)= -1时,有P(H/E)=0,说明由于E所对应证据的出现使H为假。此时,MB(H, E)=0,MD(H,E)=1。

    当CF(H,E)= 0时,有MB(H, E)=0、MD(H, E)=0。E所对应证据的出现不证实、不否认H;

4.

        (1)对H的信任增长度等于对非H的不信任增长度

        (2)对H的可信度与非H的可信度之和等于0

        (3)可信度不是概率,不满足

              P(H)+P(﹁H)=1 和 0≤P(H),P(﹁H)≤ 1

 

 (5)对同一前提E,若支持若干个不同的结论Hi(i=1,2,…,n),则

因此,如果发现专家给出的知识有如下情况

        CF(H1, E)=0.7,  CF(H2, E)=0.4

则因0.7+0.4=1.1>1为非法,应进行调整或规范化。

证据不确定性的表示

基本证据

 表示方法,用可信度,其取值范围也为[-1,1]。例如,CF(E) ,其含义:

    CF(E)= 1,证据E肯定它为真

    CF(E)= 0,对证据E一无所知

    0<CF(E)<1,证据E以CF(E)程度为真

否定证据

          CF(¬E)= - CF(E)

组合证据

    合取:E=E1 AND E2 AND … En时,若已知CF(E1),CF(E2),…,则

           CF(E)=min{CF(E1), CF(E2), … ,CF(En)}

    析取:E=E1 OR  E2  OR … En时,若已知CF(E1),CF(E2),…,则

          CF(E)=max{CF(E1), CF(E2), … ,CF(En)}

不确定性的更新

    CF模型中的不确定性推理实际上是从不确定的初始证据出发,不断运用相关的不确性知识,逐步推出最终结论和该结论可信度的过程。而每一次运用不确定性知识,都需要由证据的不确定性和知识的不确定性去计算结论的不确定性

    不确定性的更新公式

           CF(H)=CF(H, E)×max{0, CF(E)}

    若CF(E)<0,则

           CF(H)=0

即该模型没考虑E为假对H的影响。(只考虑为真条件的影响)

    若CF(E)=1,则

           CF(H)=CF(H,E)

规则强度CF(H,E)实际上是在E为真时,H的可信度

结论不确定性的合成

    当有多条知识支持同一个结论,且这些知识的前提相互独立,结论的可信度又不相同时,可利用不确定性的合成算法求出结论的综合可信度。

    设有知识:IF  E1   THEN   H  (CF(H, E1))

         IF  E2   THEN   H  (CF(H, E2))

则结论H 的综合可信度可分以下两步计算:

    (1) 分别对每条知识求出其CF(H)。即

         CF1(H)=CF(H, E1) ×max{0, CF(E1)}

         CF2(H)=CF(H, E2) ×max{0, CF(E2)}

(2) 用如下公式求E1与E2对H的综合可信度

例题P20

主观Bayes方法的概率论基础

全概率公式

定理3.1 设事件A1,A2,…,An满足:

    (1)任意两个事件都互不相容,即当i≠j时,有Ai∩Aj=Φ  (i=1,2,…,n;j=1,2,…,n);

    (2) P(Ai)>0 (i=1, 2, … ,n);

    (3) D=


则对任何事件B由下式成立:

   该公式称为全概率公式,它提供了一种计算P(B)的方法。

Bayes公式

https://blog.csdn.net/jiangjiang_jian/article/details/81346797

  定理3.2 设事件A1,A2,…,An满足定理3.1规定的条件,则对任何事件B有下式成立:

该定理称为Bayes定理,上式称为Bayes公式。

    其中,P(Ai)是事件Ai的先验概率,P(B|Ai)是在事件Ai发生条件下事件B的条件概率;P(Ai|B)是在事件B发生条件下事件Ai的条件概率。

    如果把全概率公式代入Bayes公式,则有:

这是Bayes公式的另一种形式。

    Bayes定理给处了用逆概率P(B|Ai)求原概率P(Ai|B)的方法。

贝叶斯公式

在贝叶斯写这篇文章之前,人们已经能够计算“正向概率”,如“假设袋子里面有 N 个白球,M 个黑球,你伸手进去摸一把,摸出黑球的概率是多大”。而一个自然而然的问题是反过来:“如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题,就是所谓的逆向概率问题。

P(A) A 的先验概率,之所以称为“先验”是因为它不考虑任何 B 方面的因素

P(A|B)是已知 B 发生后 A 的条件概率,也由于得自 B 的取值而被称作 A 的后验概率。

P(B|A)是已知 A 发生后 B 的条件概率,也由于得自 A 的取值而被称作 B 的后验概率。

P(B) B 的先验概率,也作标淮化常量(normalizing constant)。

贝叶斯定理可表述为:

后验概率 = (相似度 * 先验概率)/标淮化常量

也就是说,后验概率与先验概率和相似度的乘积成正比。

另外,比例P(B|A)/P(B)也有时被称作标淮相似度(standardised likelihood),Bayes定理可表述为:

后验概率 = 标淮相似度 * 先验概率

联合概率表示两个事件共同发生(数学概念上的交集)的概率。A B 的联合概率表示为

推导

我们可以从条件概率的定义推导出贝叶斯定理。

根据条件概率的定义,在事件 B 发生的条件下事件 A 发生的概率为:

同样地,在事件 A 发生的条件下事件 B 发生的概率为:

结合这两个方程式,我们可以得到:

这个引理有时称作概率乘法规则。上式两边同除以 P(A),若P(A)是非零的,我们可以得到贝叶斯定理:

根据新情况更新先验概率-修正概率

知识不确定性的表示

表示形式:在主观Bayes方法中,知识是用产生式表示的,其形式为:

           IF  E  THEN  (LS, LN)   H

其中,(LS, LN)用来表示该知识的知识强度,LS(充分性度量)和LN(必要性度量)的表示形式分别为:

LS充分性:结论成立/不成立时 条件为真概率

LN必要性:结论成立/不成立时 条件为假概率

根据贝叶斯:

两式相除得(几率函数):

为讨论方便,下面引入几率函数

可见,X的几率等于X出现的概率与X不出现的概率之比,P(X)与O(X)的变化一致,且有:

           P(X)=0  时有  O(X)=0

           P(X)=1  时有  O(X)=+∞

即把取值为[0,1]的P(X)放大为取值为[0,+∞]的O(X)

以上两式联立

再把LS代入此式,可得:

同理可得到关于LN的公式:

以上两式就是修改的Bayes公式

LS的性质:

    当LS>1时,O(H|E)>O(H),说明E支持H,LS越大,E对H的支持越充分。当LS→∝时,O(H|E)→∝,即P(H/E)→1,表示由于E的存在将导致H为真。

    当LS=1时,O(H|E)=O(H),说明E对H没有影响。

 当LS<1时,O(H|E)<O(H),说明E不支持H。

 当LS=0时,O(H|E)=0,说明E的存在使H为假。

LN的性质:

 当LN>1时,O(H|﹁E)>O(H),说明E支持H,即由于E的不出现,增大了H为真的概率。并且,LN得越大,﹁E对H为真的支持就越强。当LN→∝时,O(H|﹁E)→∝,即P(H|﹁E)→1,表示由于﹁E的存在将导致H为真。

    当LN=1时,O(H|﹁E)=O(H),说明﹁E对H没有影响。

    当LN<1时,O(H|﹁E)<O(H),说明﹁E不支持H,即由于﹁E的存在,使H为真的可能性下降,或者说由于E不存在,将反对H为真。当LN→0时O(H|﹁E) →0,即LN越小,E的不出现就越反对H为真,这说明H越需要E的出现。

    当LN=0时,O(H|﹁E)=0,说明﹁E的存在(即E不存在)将导致H为假。

 

LS与LN的关系

 由于E和﹁E不会同时支持或同时排斥H,因此只有下述三种情况存在:

    ① LS>1且LN<1                       

    ② LS<1且LN>1                      

    ③ LS=LN=1

证据不确定性的表示

基本证据的表示:

   在主观Bayes方法中,基本证据E的不精确性是用其概率或几率来表示的。

概率与几率之间的关系为:

以概率情况为例,对初始证据E,用户可以根据当前观察S将其先验概率P(E)更改为后验概率P(E|S),即相当于给出证据E的动态强度

组合证据不确定性的计算:

   证据的基本组合方式只有合取和析取两种。(合取min,析取max)

 当组合证据是多个单一证据的合取时,例

          E=E1  AND   E2  AND  …  AND  En

 如果已知在当前观察S下,每个单一证据Ei有概率P(E1|S), P(E2|S), … ,P(En|S),则

      P(E|S)=min{ P(E1|S), P(E2|S), … ,P(En|S)}

 当组合证据是多个单一证据的析取时,例

             E=E1  OR   E2  OR  …  OR  En

    如果已知在当前观察S下,每个单一证据Ei有概率P(E1|S), P(E2|S), … ,P(En|S),则

  P(E|S)=max{ P(E1|S), P(E2|S), … ,P(En|S)}

不确定性的更新

根据E的概率P(E)及LS和LN的值,把H的先验概率P(H)或先验几率O(H)更新为后验概率或后验几率。

    分以下3种情况讨论:

    1. 证据肯定为真

    2. 证据肯定为假

3. 证据既非为真有非为假

证据肯定为真时

 当证据E肯定为真时,P(E)=P(E|S)=1。将H的先验几率更新为后验几率的公式:

          O(H|E)=LS×O(H)

 把H的先验概率P(H)更新为后验概率P(H|E)的公式

 

证据既非真假:需要使用杜达等人给出的公式:

P(H|S)=P(H|E)×P(E|S)+P(H|﹁E)×P(﹁E|S)                              (3.7)

 

 

    下面分四种情况讨论:

    (1)P(E|S)=1

    当P(E|S)=1时,P(﹁E|S)=0。

这实际是证据肯定存在的情况

    (2)P(E|S)=0

    当P(E|S)=0时,P(﹁E|S)=1。

    (3)P(E|S)=P(E)

    当P(E|S)=P(E)时,表示E与S无关。由(3.7)式和全概率公式可得

    (4) P(E/S)为其它值

上面已经得到了P(E|S)的3个特殊值:0,P(E),1;它们分别对应的3个值为P(H|﹁E),P(H),P(H|E)。由此构造的分段线性插值函数为:

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值