西瓜书读书笔记之绪论

1.1 引言

定义:

  • Arthur Samuel:不显式编程地赋予计算机能力的研究领域。
  • Mitchell:假设用P来评估计算机程序在某任务类T上的性能,若一个程序通过利用经验E在T中任务上获得了性能改善,就说关于T和P,该程序对E进行了学习。
  • 周志华:机器学习的主要内容:关于在计算机上从数据中产生“模型”的算法,即“学习算法”。

1.2 基本术语

数据:

分类:

泛化能力:学得模型适用于新样本的能力。

学习器:学习算法在给定数据和参数空间上的实例化。

1.3 假设空间

  • 广义的归纳学习相当于从样例中学习,狭义的归纳学习则要求从训练数据中学得概念,亦称概念学习或概念形成。
  • 学习过程可以看作在所有假设组成的空间中进行搜索的过程,目标是找到与训练集“匹配”的假设。假设的表示一旦确定,假设空间及其规模大小就确定了。
  • 由于样本训练集有限,可能有多个假设与训练集一致,即存在一个训练集属于的假设集合,称为“版本空间”

1.4 归纳偏好

  • 定义:学习过程中对某种类型假设的偏好,称为“归纳偏好”。
  • 版本空间启发我们,任何一个学习算法必有归纳偏好,否则它将被看似“等效”的假设迷惑,无法产生确定的学习效果。
  • 可以将其看作进行假设选择的启发式或价值观。  
  1. 奥卡姆剃刀:若有多个假设与观察一致,选择最简单的那个。问题在于简单究竟是主观评价还是客观存在。
  2. 多释原则:保留与经验观察一致的所有假设。这与集成学习吻合。
  •  NFL定理表明,归纳偏好是否与问题本身匹配,大多数时候直接决定了算法能否取得好的性能。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值