人工智能学习笔记（三）---贝叶斯&决策树&感知机算法（神经网络）

目录

一、贝叶斯网络&朴素贝叶斯分类器

二、决策树算法（ID-3）

三、感知机算法（简单的神经网络）

补充概念：Boosting & k-近邻

Boosting

k-近邻（决定待分样本所属类别）

---

一、贝叶斯网络&朴素贝叶斯分类器

贝叶斯网络

参考下图中的贝叶斯网络（见图二），其中布尔变量I=聪明(intelligence)  H=诚实(Honest)  P=受欢迎的(Popular) L=大量的竞选资金  E=竞选成功

(a) 根据该网络结构，是否可以得到P(I,L,H)=P(I)P(L)P(H),如果不是，请给出正确的表达式；

(b)根据该网络结构计算P(i,h,¬l,p,¬e)的值；

(c)假设已知某个人是诚实的，没有大量的竞选资金但是竞选成功了，那么他是聪明的概率是多少？

答：

(a)不是，正确形式：P(I)P(L|H)P(H)   这个表达式表示的是这几个事件同时发生的概率，如果有依赖性则乘的是条件概率

(b)parents(l) = h    parents(p) = i,h,l   parents(e) = p

P(i,h,¬l,p,¬e) = P(i) P(h) P(¬l | h) P(p|i∧h∧¬l) P(¬e|p) = 0.5*0.1*0.7*0.4*0.4 = 5.6×10-3

首先要根据贝叶斯网络确定依赖关系，根据条件概率表获取相应值。

(c)题目要求的条件概率为P(i | h,¬l,e)

P(i | h,¬l,e)= P(i,h,¬l,e) / P(h,¬l,e) = αP(i,h,¬l,e) （α = 1/ P(h,¬l,e)）α代替分母的概率值

αP(i,h,¬l,e)= α[ P(i,h,¬l,e,p) + P(i,h,¬l,e, ¬p) ] = (1.050×10^-2)α      ……①

再计算αP(¬i,h,¬l,e) = α[ P(¬i,h,¬l,e,p) + P(¬i,h,¬l,e, ¬p) ] =  (0.875×10^-2) α ……②

这里用的是P(i | h,¬l,e) + P(¬i | h,¬l,e) = 1得到的

①+② = 1 得 α =  代入①得所要求的概率≈0.545

 

朴素贝叶斯分类器的计算流程

该算法用于将样例进行“正确”地划分，如最终判定为“好”或者“坏”

New x表示一个f1~f4分别为<0,0,1,1>的样本

即计算出正样本中这几个属性同时（独立）拥有的概率

以及负样本中这几个属性同时拥有的概率

比较这两个概率而进行划分

从这个例子中可以看出如果有一个概率为0则最后也为0了，这不太合理，所以有时需要在估计概率的时候进行平滑处理（smoothing），分子+1，分母+N（第i个属性可能的取值数/个数）

 

二、决策树算法（ID-3）

我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”（purity）越来越高。”信息熵”（information entropy）是度量样本集合纯度最常用的一种指标。

假定当前样本集合D中第k类样本所占的比例为pk(k=1,2,…,|γ|) ，则D的信息熵定义为

Ent(D)的值越小，则D的纯度越高  （注意负号，算出来为正值）

“信息增益”（information gain）表示为

假定离散属性a有V个可能的取值 ，若使用a来对样本集D进行划分，则会产生V个分支结点，其中第v个分支结点包含了D中