【Abee】吃掉西瓜——西瓜书学习笔记（六）

最新推荐文章于 2024-09-16 18:14:20 发布

AnyaBee

最新推荐文章于 2024-09-16 18:14:20 发布

阅读量526

点赞数

分类专栏： python 机器学习

本文链接：https://blog.csdn.net/weixin_40006612/article/details/89468698

版权

python 同时被 2 个专栏收录

15 篇文章 0 订阅

订阅专栏

机器学习

8 篇文章 0 订阅

订阅专栏

贝叶斯分类器

【内容包含第七章】

贝叶斯决策论（Bayes decision theory）

极大似然估计（Maximum Likelihood Estimation，MLE）

朴素贝叶斯分类器（naive Bayes classifier）

EM算法（Expectation-Maximization）

贝叶斯决策论（Bayes decision theory）

目标：最小化总体风险（基于代价的条件风险(conditional risk)）

$R(c_{i}|x)=\sum_{j=1}^{N}\lambda _{ij}P(c_{j}|x)$

$R(h)=E_{x}[R(h(x)|x)]$

$h^{*}(x)=argmin_{c\in \gamma }R(c|x)$

此时h*成为贝叶斯最优分类器（Bayes optimal classifier）

目标：最小化分类错误率（是最小化总体风险的子类）

此时代价可写作

$\lambda _{ij}=\left\{ \begin{matrix} 0,if i =j\\ 1,otherwise \end{matrix}$

由贝叶斯定理，后验概率正比于先验概率和样本x关于标记c的类条件概率的乘积，由大数定律，训练集包含足够的独立同分布样本时，先验概率可以用样本出现频率估计，类条件概率的估计比较困难。

极大似然估计（Maximum Likelihood Estimation，MLE）

对于参数估计(parameter estimation)，频率主义学派（Frequentist）认为参数是未知、客观存在的固定值，贝叶斯学派（Bayesian）认为参数是未观察到的随机变量，本身也有分布。极大似然估计是频率主义学派的一个方法。

对数似然为

$LL(\theta _{c})=log P(D_{c}|\theta _{c})$

$=\sum_{x\in C_{c}}log P(x|\theta _{c})$

参数 $\theta _{c}$ 的极大似然估计为 $\hat \theta _{c}$ 为

$\hat\theta_{c}=\begin{matrix} argmax\\ \theta_{c} \end{matrix}LL(\theta_{c})$

朴素贝叶斯分类器（naive Bayes classifier）

采用属性条件独立性假设，朴素贝叶斯表达式

$h_{nb}(x)=argmax_{c\in \gamma }P(c)\prod_{i=1}^{d}P(x_{i}|c)$

P(c) 可以用样本频率来估计， $P(x_{i}|c)$ 可以估计为标记为c的样本中在第i个属性上取值为xi的集合与标记为c的样本的比值，如果是连续属性的话可以考虑概率密度函数（书里整理了西瓜的案例，非常简单易懂）

半朴素贝叶斯分类器

和朴素贝叶斯的区别在于半朴素贝叶斯不采用属性独立假设，而是放宽了对属性的要求，比如假设每个属性最多依赖一个别的属性。

可以认为所有属性都依赖同一个属性，然后交叉验证，选取出这个属性（Super-Parent ODE 方法）。也可以使用TAN（Tree Augmeted naive Bayes）将属性间的关系构建完全图，并构建最大带权生成树，保留强相关属性之间的依赖性。AODE是一种集成学习机制，将每个属性作为super-parent的SPODE的结果集成。