人工智能基础复习4——不确定知识与推理

13 Uncertainty

Outline

不确定性（Uncertainty）

概率（Probability）

语法和语义

推理

独立性及贝叶斯法则

不确定性

一个Agent从不可能完全地确定一个世界或一个领域的状态，因为其中包含太多含糊性和不确定性

可能/概率推理

我已经得到这个证据，这个结论是正确的概率有多少？

我脖子僵硬，那么我得脑膜炎的概率有多大？

假设我们有一个规则：如果牙痛那么问题来源于牙洞

但是不是所有病人的牙痛都是因为有牙洞，所以我们可以像这样设置规则：如果牙痛并且没有牙龈疾病并且没有补牙，并且...，那么问题来源于牙洞

这会让问题更复杂，更好的方法是：如果牙痛，那么问题来源于牙洞的概率是0.8或者P(cavity | toothache) = 0.8

假设行动At为在航班起飞前t分钟前往机场，At能够让我准时到达么？

问题：部分可观察性（路况、其他司机的计划等）、嘈杂的传感器（交通报道）、不确定的行动结果（车轮漏气等）、极复杂的交通建模和预测

逻辑方法：

错误风险：A25可以让我按时到达=>A25可以让我按时到达，前提是没有交通事故、不下雨、轮胎不出问题等（这对于做决策没有太大帮助）

A1440显然可以让我按时到达但是我必须在机场过夜……

真实世界的不确定性和建模

真实不确定性：规则在本质上是有概率性的，如掷骰子、抛硬币

惰性：为了确保得到一个没有任何意外的规则，需要列出前提和结论的完整集合，这个工作量太大，这样的规则也难以使用

理论的无知：没有完整的结论，问题领域并不完整，持续性理论，如医学诊断

实践的无知：即使知道所有的规则，也不可能收集关于一个特定病例的所有相关信息

解决不确定性的方法

概率理论作为一个形式化手段，利用不确定性知识进行表示和推理，在一个命题中（事件、结论、诊断）提供信念度，如A25使我按时到达机场的概率为0.04

概率是不确定性的语言——现代AI的重要核心

概率

概率理论提供了一种方法以概括来自我们的惰性和无知的不确定性

概率断言总结了：

惰性：难以列举例外、条件等；无知：缺少相关事实、初始条件等

主观概率：agent自身知识状态的命题概率，如P(A25 | no reported accidents) = 0.06

没有关于世界的断言

命题因为新条件而改变的概率，如P(A25 | no reported accidents, 5 a.m.) = 0.15

在不确定性情况下做决策

假设我知道：

P(A25能按时到达 | ...) = 0.04；P(A90能按时到达 | ...) = 0.70；P(A120能按时到达 | ... ) = 0.95；P(A1440能按时到达 | ...) = 0.9999

我应该选择什么行动呢？取决于我关于错过航班和等待时间消耗上的偏好

效用理论（Utility theory）：对偏好进行表示和推理

决策理论 = 概率理论 + 效用理论

语法

基本元素：随机变量

现实世界中具有不确定性的事件的随机变量，通常以大写开头，如Cavity，Weather，Temperature

与命题逻辑相似：对随机变量赋值来定义可能的世界

布尔随机变量，如Cavity（牙洞）（do I have a cavity?)

离散随机变量，如Weather is one of <sunny, rainy, cloudy, snow>

定义域值必须是穷尽的和互斥的

连续随机变量，如Temp=21.6,同样如 Temp<22.0

基本命题由对一个随机变量赋值构成，如Weather=sunny，Cavity=false（简写为 ¬ cavity）

复杂命题由基本命题和标准逻辑连接词构成，如Weather=sunny ∨ Cavity=false

原子事件：对智能体无法确定的世界状态的一个完整的详细描述

如，若世界只由两个布尔变量Cavity和Toothache构成，那么存在4种不同的原子事件：

Cavity=false ∧ Toothache=false；Cavity=false ∧ Toothache=true；Cavity=true ∧ Toothache=false；Cavity=true ∧ Toothache=true

原子事件是互斥和详尽的

概率公理

对任意命题A,B，有

0 ≤ P( A ) ≤ 1

P( true ) = 1 and P( false ) = 0
P( A ∨ B ) = P( A ) + P( B ) - P( A ∧ B )

先验概率

命题的先验或无条件概率：在没有任何其它信息存在的情况下关于命题的信度

概率分布给出一个随机变量所有可能取值的概率， P ( Weather ) = <0.72,0.1,0.08,0.1> ( normalized （归一化的） , i.e., sums to 1)

联合概率分布给出一个随机变量集的值的全部组合的概率，P(Weather,Cavity)=a, 4×2 matrix of values

连续变量的概率

将分布表示为值的参数化函数：P(X=x)=U[18,26](x) = 18和26之间的均匀密度分布

高斯函数...

边缘概率分布

边缘概率分布是消除变量后的子表

边缘化(求值消元）：联合相同行的加和值：P(X1=x1)=∑P(X1=x1,X2=x2)

条件概率

条件概率或后验概率：P(a | b)

如P(cavity | toothache) = 0.8

条件概率分布：

P(cavity | toothache) = a single number

P(Cavity,Toothache) = 2×2 table summing to 1

P(Cavity | Toothache) = 2-element vector of 2-element vectors

如果我们知道更多条件，如牙洞已知，则有P(cavity | toothache,cavity) = 1

新条件可能不相关，可以简化，如P(cavity | toothache,sunny) = P(cavity | toothache) = 0.8，这种推理和领域知识有关

条件概率的定义：

P(a | b) = P(a ∧ b) / P(b) if P(b) > 0

乘法规则给出一个替代的公式： P(a ∧ b) = P(a | b) P(b) = P(b | a) P(a)

链式法则由乘法规则推导得出：P(X1,...,Xn)=...=∏i=1~n P(Xi | X1,...,Xi-1)

条件概率和标准概率类似，如

0 <= P(a | e) <= 1
P(a1   | e) + P(a2   | e) + ... + P(ak   | e) = 1 

P(¬a | e) = 1 - P(a | e) 

通过枚举推理

全联合概率分布