机器学习---假设的评估问题

原创 2016年06月02日 12:12:32

机器学习的假设理论:任一假设若在足够大的训练样例集中很好的逼近目标函数,它也能在未见实例中很好地逼近目标函数。
伯努利分布的期望 np
方差 np(1-p)
训练样例(Sample)的错误率:errors
测试数据(data)的错误率:errorD

评估偏差
bias=E(errors)-errorD
对于无偏估计(bias=0):h和S选择必须独立

评估方差:
对于无偏的评估S,errors也许和errorD不同的,
应该选择方差较小的估计

示例计算
有95%的可能性,errors(h)落在区间:
errorD(h)± 1.96*√errorD(h)*(1-errorD)/n
等价类似的:
有95%的可能性,errorD(h)落在区间:
errors(h)± 1.96*√errors(h)*(1-errors)/n

测试h1在训练样例S1(n1个随机数据),测试h2在训练样例S2(n2个随机数据)
选择评估参数:d=errorD(h1)-errorD(h2)
选择评估者: d^=errorS1(h1)-errorS2(h2)
这里写图片描述
例如:eS1(h1)=0.3 eS2(h2)=0.2 假设eD(h1)>eD(h2) 其中n1=n2=100
给出 d^=0.1 假设eD(h1)>eD(h2)
即:d^=0.1 假设d>0
d+0.1>d^ 注意d是d^的均值
即:d^

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Spark2.0机器学习系列之2:Logistic回归及Binary分类(二分问题)结果评估

参数设置α:梯度上升算法迭代时候权重更新公式中包含 α : http://blog.csdn.net/lu597203933/article/details/38468303 为了更好理...

机器学习中模型评估与选择中的几个小问题

Training set、Validation set 与 Testing set有关于训练数据的过程中,validation与testing有何区别,validation的作用到底是什么? Cros...

评估机器学习模型.

  • 2017-07-01 20:46
  • 3.65MB
  • 下载

评估机器学习的模型

  • 2016-12-30 14:33
  • 1.74MB
  • 下载

机器学习性能评估指标(精确率、召回率、ROC、AUC)

转自:http://charlesx.top/2016/03/Model-Performance/ 实际上非常简单,精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是对的。那么预测为...

机器学习——模型评估与选择

1.拟合:接近目标的远近程度。 过拟合:学习能力过强导致过于拟合。过于学习学到认为女生必须是长头发。 欠拟合:学习能力低下导致欠拟合。学习能力低下,拥有长发的都是女生。2.评估方法: 目标:所选...

机器学习笔记3——模型评估与选择(二)

凡事都要有个标准,仅仅看实验测试的表现还不够,衡量泛化能力还需要有一套评价标准,也叫做性能度量(performance measure)。当然标准也可以有好几套,从不同维度和侧重来评价。这同时也反映了...

机器学习(二) 模型评估与选择

错误率: 分类错误的样本数占样本总数的比例成为“错误率”。精度 : 精度 = 1 - 错误率。泛化误差: 训练结果在新的测试集上的误差。过拟合:训练将本身的一些特点当做了潜在的一般性质进行了学习。欠拟...

机器学习(周志华 )-2模型评估与选择

机器学习(周志华 )-2模型评估与选择标签(空格分隔): 机器学习经验误差与过拟合错误率 误差:训练误差 泛化误差 欠拟合 过拟合评估方法留出法训练集S 测试集T D=S⋃T,S⋂T=ϕD=S\...

数据挖掘-基于机器学习的SNS隐私策略推荐向导分类器的C++及WEKA实现与评估

本文接《基于机器学习的SNS隐私保护策略推荐向导的设计与实现》,详细解析基于机器学习的SNS隐私策略推荐向导分类器的C++及WEKA实现与评估结果,本文完整C++程序及JAVA工程下载链接见点击打开链...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)