《机器学习by周志华》学习笔记-模型评估与选择-03

1、比较检验方法

背景:

通过上面的01、02内容,我们学习了比较多的性能度量指标。但是在针对不同模型的比较上更加复杂,其主要表现在:

(1)测试集上的泛化性能和实际数据中的泛化性能不一定相同。

(2)不同测试集的大小、内容都会影响测试集的泛化性能。

(3)算法具有随机性,结果置信度低。

所以本章主要讲了集中学习器性能比较的方法。且为了便于讨论,默认以「错误率」作为性能度量,用E表示。

E(f;D)=\frac{1}{m}\sum_{i=1}^{m}\mathbb{I}(f(xi)\neq yi)

或引入概率密度函数p\left ( \cdot \right ),错误率可表示为

E(f;D)=\int_{x\sim D}^{}\mathbb{I}(f(x)\neq y)p(x)dx

注意:下面方式也只适用于二分类情况。

1.1、假设检验

1.1.1、背景

在现实情况中,由于学习器的线上使用场景数据无法掌控,所以我们无法知道学习器的泛化错误率。只能在上线前获知其测试错误率。上文02提到的错误率,指的也是学习器的测试错误率(\hat{E})。

我们估计,学习器真正的泛化错误率与其测试错误率(\hat{E})虽然不同,但是二者的值相近。

所以我们可以根据测试错误率(\hat{E})来推出实际泛化错误率(E)的分布。

1.1.2、概念

(1)假设检验

「假设检验」是对学习器泛化「错误率(E)」分布的某种判断或猜想,例如我们假设某学习器泛化错误率E=E_{0}

(2)泛化错误率(E)

是指学习器在1个样本上犯错的概率是E

(3)测试错误率(\hat{E})

是指学习器在m个测试样本中,有(\hat{E}\times m)个被错误分类。即犯错的概率为:\frac{\hat{E}\times m}{m}=\hat{E}

1.1.3、公式推导

设学习器在总体m个测试样本中,将n个样本误分类,其余样本都分类正确的概率是:

P(n;m)=C_{m}^{n}\times E^{n}\times (1-E)^{m-n}

根据1.1.2可知:

n=\hat{E}\times m=m\hat{E}

所以上面的概率可表示为:

P(\hat{E};E)=C_{m}^{m\hat{E}}\times E^{m\hat{E}}\times (1-E)^{m-m\hat{E}}

举例:某个分类学习器的测试错误率\hat{E}=0.02,则100个样本中分类器将1个样本分类错误,99个样本分类正确的概率是?

E=\frac{1}{100}=0.01

m=100

m\hat{E}=100\times 0.02=2

带入上面公式可得:

P(\hat{E};E)=C_{m}^{m\hat{E}}\times E^{m\hat{E}}\times (1-E)^{m-m\hat{E}}=C_{100}^{2}\times 0.01^{2}\times 0.99^{98}\approx 0.185

测试错误率\hat{E}和m为已知数据,则通过解偏导函数等于0:

\frac{\partial P(\hat{E;E})}{\partial E}=0

注:这里是周志华的《机器学习》原文,查阅了资料也暂时不了解本处求偏导的含义。如果有同学了解偏导相关内容以及对上述公式的应用,欢迎私信或者留言。感谢~

根据上面的例子,我们可以将未知数E作为变量x(0\leq x\leq 1),概率P(\hat{E};E) 用F(x)表示。则原概率公式可以表示为:

f(x)=4950x^{2}\times (1-x)^{98}

误分类样本数n 正确分类数 误分类错误率x 概率f(x)
0 100 0 0
1 99 0.01 18.5%
2 98 0.02 27.34%
3 97 0.03 22.51%
4 96 0.04 14.5%
5 95 0.05 8.12%
6 94 0.06 4.14%
7 93 0.07 1.98%
8 92 0.08 0.9%
9 91 0.09 0.39%
10 90 0.1 0.16%
... ... ... ...
100 0 1 0

根据上表绘制如下函数图像:

根据上面图像可知:

P(\hat{E};E) 在 E=\hat{E}时最大,且|E-\hat{E}|增大时,P(\hat{E};E) 减小,符合二项分布。

则误分类样本数n与x的关系如下:

x=\frac{n}{100}

则上面概率和错误率的关系可以表示为:

f(x)=4950x^{2}\times (1-x)^{98}=4950(\frac{n}{100})^{2}(\frac{100-n}{100})^{98}

可得出一下

  • 24
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
本章主要介绍了概率图模型的基本概念和常见类型,以及如何利用Python实现这些模型。下面是一些笔记和代码示例。 ## 概率图模型的基本概念 概率图模型是一种用于表示和处理不确定性的图形化模型,它能够将一个复杂的联合概率分布表示为多个简单的条件概率分布的乘积形式,从而简化概率推理和模型学习的过程。概率图模型主要包括两种类型:有向图模型和无向图模型。 有向图模型(Directed Acyclic Graph, DAG)又称为贝叶斯网络(Bayesian Network, BN),它用有向边表示变量之间的因果关系,每个节点表示一个随机变量,给定父节点的条件下,每个节点的取值都可以用一个条件概率分布来描述。有向图模型可以用贝叶斯公式进行概率推理和参数学习。 无向图模型(Undirected Graphical Model, UGM)又称为马尔可夫随机场(Markov Random Field, MRF),它用无向边表示变量之间的相互作用关系,每个节点表示一个随机变量,给定邻居节点的取值,每个节点的取值都可以用一个势函数(Potential Function)来描述。无向图模型可以用和有向图模型类似的方法进行概率推理和参数学习。 ## 概率图模型的Python实现 在Python中,我们可以使用`pgmpy`库来实现概率图模型。该库提供了一个简单而强大的接口来定义和操作概率图模型,支持有向图模型和无向图模型的构建、概率推理、参数学习等功能。 ### 有向图模型 以下是一个简单的有向图模型的示例: ```python from pgmpy.models import BayesianModel model = BayesianModel([('A', 'B'), ('C', 'B'), ('B', 'D')]) ``` 其中,`BayesianModel`是有向图模型的类,`('A', 'B')`表示A节点指向B节点,即B节点是A节点的子节点,依此类推。我们可以使用以下代码查看模型的结构: ```python print(model.edges()) # 输出:[('A', 'B'), ('B', 'D'), ('C', 'B')] ``` 接下来,我们可以为每个节点定义条件概率分布。以下是一个简单的例子: ```python from pgmpy.factors.discrete import TabularCPD cpd_a = TabularCPD(variable='A', variable_card=2, values=[[0.2, 0.8]]) cpd_c = TabularCPD(variable='C', variable_card=2, values=[[0.4, 0.6]]) cpd_b = TabularCPD(variable='B', variable_card=2, values=[[0.1, 0.9, 0.3, 0.7], [0.9, 0.1, 0.7, 0.3]], evidence=['A', 'C'], evidence_card=[2, 2]) cpd_d = TabularCPD(variable='D', variable_card=2, values=[[0.9, 0.1], [0.1, 0.9]], evidence=['B'], evidence_card=[2]) model.add_cpds(cpd_a, cpd_c, cpd_b, cpd_d) ``` 其中,`TabularCPD`是条件概率分布的类,`variable`表示当前节点的变量名,`variable_card`表示当前节点的取值个数,`values`表示条件概率分布的值。对于有父节点的节点,需要指定`evidence`和`evidence_card`参数,表示当前节点的父节点和父节点的取值个数。 接下来,我们可以使用以下代码进行概率推理: ```python from pgmpy.inference import VariableElimination infer = VariableElimination(model) print(infer.query(['D'], evidence={'A': 1})) # 输出:+-----+----------+ # | D | phi(D) | # +=====+==========+ # | D_0 | 0.6000 | # +-----+----------+ # | D_1 | 0.4000 | # +-----+----------+ ``` 其中,`VariableElimination`是概率推理的类,`query`方法用于查询给定变量的概率分布,`evidence`参数用于指定给定变量的取值。 ### 无向图模型 以下是一个简单的无向图模型的示例: ```python from pgmpy.models import MarkovModel model = MarkovModel([('A', 'B'), ('C', 'B'), ('B', 'D')]) ``` 其中,`MarkovModel`是无向图模型的类,与有向图模型类似,`('A', 'B')`表示A节点和B节点之间有相互作用关系。 接下来,我们可以为每个节点定义势函数。以下是一个简单的例子: ```python from pgmpy.factors.discrete import DiscreteFactor phi_a = DiscreteFactor(['A'], [2], [0.2, 0.8]) phi_c = DiscreteFactor(['C'], [2], [0.4, 0.6]) phi_b = DiscreteFactor(['A', 'C', 'B'], [2, 2, 2], [0.1, 0.9, 0.3, 0.7, 0.9, 0.1, 0.7, 0.3]) phi_d = DiscreteFactor(['B', 'D'], [2, 2], [0.9, 0.1, 0.1, 0.9]) model.add_factors(phi_a, phi_c, phi_b, phi_d) ``` 其中,`DiscreteFactor`是势函数的类,与条件概率分布类似,需要指定变量名、变量取值个数和势函数的值。 接下来,我们可以使用以下代码进行概率推理: ```python from pgmpy.inference import BeliefPropagation infer = BeliefPropagation(model) print(infer.query(['D'], evidence={'A': 1})) # 输出:+-----+----------+ # | D | phi(D) | # +=====+==========+ # | D_0 | 0.6000 | # +-----+----------+ # | D_1 | 0.4000 | # +-----+----------+ ``` 其中,`BeliefPropagation`是概率推理的类,与有向图模型类似,`query`方法用于查询给定变量的概率分布,`evidence`参数用于指定给定变量的取值。 ## 总结 本章介绍了概率图模型的基本概念和Python实现,包括有向图模型和无向图模型的构建、条件概率分布和势函数的定义、概率推理等。使用`pgmpy`库可以方便地实现概率图模型,对于概率模型的学习和应用都有很大的帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

vanilla698

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值