机器学习---假设的评估问题

原创 2016年06月02日 12:12:32

机器学习的假设理论:任一假设若在足够大的训练样例集中很好的逼近目标函数,它也能在未见实例中很好地逼近目标函数。
伯努利分布的期望 np
方差 np(1-p)
训练样例(Sample)的错误率:errors
测试数据(data)的错误率:errorD

评估偏差
bias=E(errors)-errorD
对于无偏估计(bias=0):h和S选择必须独立

评估方差:
对于无偏的评估S,errors也许和errorD不同的,
应该选择方差较小的估计

示例计算
有95%的可能性,errors(h)落在区间:
errorD(h)± 1.96*√errorD(h)*(1-errorD)/n
等价类似的:
有95%的可能性,errorD(h)落在区间:
errors(h)± 1.96*√errors(h)*(1-errors)/n

测试h1在训练样例S1(n1个随机数据),测试h2在训练样例S2(n2个随机数据)
选择评估参数:d=errorD(h1)-errorD(h2)
选择评估者: d^=errorS1(h1)-errorS2(h2)
这里写图片描述
例如:eS1(h1)=0.3 eS2(h2)=0.2 假设eD(h1)>eD(h2) 其中n1=n2=100
给出 d^=0.1 假设eD(h1)>eD(h2)
即:d^=0.1 假设d>0
d+0.1>d^ 注意d是d^的均值
即:d^

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习(二) - - 假设空间

《机器学习》周志华 清华大学出版社 读书笔记(二)- - 假设空间
  • zmdsjtu
  • zmdsjtu
  • 2016年09月28日 12:24
  • 4558

机器学习(周志华) 参考答案 第一章 绪论

机器学习(周志华) 参考答案 第一章 假设空间指的是问题所有假设组成的空间,我们可以把学习过程看作是在假设空间中搜索的过程,搜索目标是寻找与训练集“匹配”的假设。...
  • icefire_tyh
  • icefire_tyh
  • 2016年07月29日 15:11
  • 20773

机器学习_周志华

第二章 模型评估与选择 1 经验误差与过拟合 过拟合 模型选择 2 评估方法 测试集 21 留出法 22 交叉验证法 k折交叉验证法 23 自助法 24 调参与最终模型 3 性能度量 31 错误率与精...
  • hekkoo
  • hekkoo
  • 2016年10月24日 17:58
  • 3498

机器学习实践指南:案例应用解析(第二版)完整版PDF[82MB]

  • 2018年01月23日 10:01
  • 49B
  • 下载

机器学习#假设空间与版本空间

读周志华的机器学习,卡在假设空间和版本空间这一块了,写一下自己的理解: 假设空间:所有属性的可能性(可能取值)组合形成的假设(假设*,*,*为好瓜),组成假设空间,以西瓜问题假设为例。色泽属性可取(青...
  • wb595972434
  • wb595972434
  • 2017年11月24日 15:06
  • 247

【机器学习理论】分类问题中常用的性能评估指标

【机器学习理论】分类问题中常用的性能评估指标 分类是监督学习中的一个核心问题。为了评价一个分类器的分类性能优劣,需要引入一些评估指标,这些指标有准确率(Accuracy)、精确率(Precision)...
  • jlqCloud
  • jlqCloud
  • 2017年10月29日 15:19
  • 104

机器学习——模型评估与选择二

2.3性能度量 性能度量 对于模型的性能度量,我们通常用一下几种方法来进行度量:  1. 错误率/精度(accuracy)  2. 准确率(查准率,precision)/召...
  • miao0967020148
  • miao0967020148
  • 2017年02月16日 17:37
  • 550

吴恩达2014机器学习TIPS记录(第一周至第六周)

吴恩达笔记TIPS:只记录自己觉得有疑惑的地方。
  • guotch
  • guotch
  • 2017年05月19日 21:22
  • 434

常见机器学习评价指标

收集整理机器学习分类、回归任务中常用的评价指标以及案例
  • u010199900
  • u010199900
  • 2017年12月19日 10:38
  • 32

模型评估和选择——周志华的机器学习

2.1经验误差与过拟合 (1)误差:学习器的实际预测输出与样本的真实输出之间的差异; (2)训练误差(经验误差):学习器在训练集上的误差; (3)泛化误差:在新样本上的误差; 故我们希望得到泛化误差小...
  • u010343650
  • u010343650
  • 2017年01月03日 15:05
  • 486
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习---假设的评估问题
举报原因:
原因补充:

(最多只允许输入30个字)