《机器学习》 周志华学习笔记第七章 贝叶斯分类器（课后习题）python 实现

课后习题答案

1.试用极大似然法估算西瓜集3.0中前3个属性的类条件概率。

好瓜有8个，坏瓜有9个

属性色泽，根蒂，敲声，因为是离散属性，根据公式（7.17）

P(色泽=青绿|好瓜=是) = 3/8

P(色泽=乌黑|好瓜=是) = 4/8

P(色泽=浅白|好瓜=是) = 1/8

P(根蒂=蜷缩|好瓜=是) = 5/8

P(根蒂=稍蜷|好瓜=是) = 3/8

。。。自己计算

另外看到这种，假定概率分布在连续属性上，离散属性直接进行上边的计算也可以

极大似然法要先假定一种概率分布形式。 
色泽： 
对于好瓜，假设 
P(色泽=青绿|好瓜)=σ1σ1 
P(色泽=乌黑|好瓜)=σ2σ2 
P(色泽=浅白|好瓜)=σ3σ3=1−σ1−σ21−σ1−σ2 
L(σ)=⋂iP(色泽=xi|好瓜)=σ31σ42(1−σ1−σ2)L(σ)=⋂iP(色泽=xi|好瓜)=σ13σ24(1−σ1−σ2) 
L′(σ1)=σ42σ21(3−4σ1−3σ2)L′(σ1)=σ24σ12(3−4σ1−3σ2) 
L′(σ2)=σ31σ32(4−4σ1−5σ2)L′(σ2)=σ13σ23(4−4σ1−5σ2) 
令L′(σ1)=0，L′(σ2)=0′(σ1)=0，L′(σ2)=0得σ1=38σ1=38，σ1=12σ1=12，σ3=18σ3=18 
可以看出σ1,σ2,σ3σ1,σ2,σ3分别对应他们在yangben中出现的频率。

2.试证明：条件独立性假设不成立时，朴素贝叶斯分类器任有可能产生最优分类器。

朴素贝叶斯分类器就是建立在条件独立性假设上的。当有不独立的属性时，假如所有yangben不独立的属性取值相同时分类也是相同的，那么此时朴素贝叶斯分类器也将产生最优分类器。

3.试编程实现拉普拉斯修正的朴素贝叶斯分类器，并以西瓜数据集3.0为训练集，并对“测1”进行分类。

python代码

https://github.com/makang101/machinelearning

4.试述防止下溢的可能方案。

对乘积取自然对数。采取自然对数进行处理不会有任何的损失，两条曲线增区间和减区间相同，并且在相同点上取得极值。

6.试编程实现AODE分类器，并以西瓜数据集3.0为训练集，并对“测1”进行分类。

简单起见 没有考虑连续属性。可按书中公式编写程序。python 代码实现

https://github.com/makang101/machinelearning/blob/master/chapter7bayesian/AODE.ipynb

转载于:https://my.oschina.net/u/3870452/blog/1941095