计算学习理论笔记

考虑三种模型一致性模型、PAC模型、错误边界模型。

一致性模型

一致性模型(Consistency Model,CM)
CM模型存在的问题:

  • 未考虑模型的泛化能力
  • 假设不存在噪声干扰
  • DNF是可学习的,但是k-DNF却不是
  • 严格的一致性将导致过拟合

PAC

研究batch model情景,模型假设为:

  • 训练数据和测试数据独立同分布
  • 数据有标签

基本的问题为:
- 得到符合要求的假设需要的样本容量
- 模型的泛化能力

错误边界模型

mistake bound model
研究在线学习(online learning,vs batch or offline learning)情景的错误.

  • 没有关于样本分布的假设
  • 没有单独的训练集
  • 学习器预测每一个遇到的样本
  • 需要计算出错量

学习过程为:

  1. 学习器接受未标记数据 xX
  2. 学习器预测 x 的类别
  3. 学习器被告知x的正确分类

目标:最小出错数量

FindS

having 算法

The Hedge Algorithm

expert

感知机算法

最大似然模型

Maximum Likelihood model

VC维

计算VC维的目的:
1.在特定的应用环境中什么学习器是足够达到学习目的的;
2.根据结构风险最小化的原则选择最好的学习器。

计算学习器的VC维

  • 决策树
  • 感知机
  • 神经网络
  • 决策列表(decision List)
  • 支持向量机
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值