机器学习---假设的评估问题

原创 2016年06月02日 12:12:32

机器学习的假设理论:任一假设若在足够大的训练样例集中很好的逼近目标函数,它也能在未见实例中很好地逼近目标函数。
伯努利分布的期望 np
方差 np(1-p)
训练样例(Sample)的错误率:errors
测试数据(data)的错误率:errorD

评估偏差
bias=E(errors)-errorD
对于无偏估计(bias=0):h和S选择必须独立

评估方差:
对于无偏的评估S,errors也许和errorD不同的,
应该选择方差较小的估计

示例计算
有95%的可能性,errors(h)落在区间:
errorD(h)± 1.96*√errorD(h)*(1-errorD)/n
等价类似的:
有95%的可能性,errorD(h)落在区间:
errors(h)± 1.96*√errors(h)*(1-errors)/n

测试h1在训练样例S1(n1个随机数据),测试h2在训练样例S2(n2个随机数据)
选择评估参数:d=errorD(h1)-errorD(h2)
选择评估者: d^=errorS1(h1)-errorS2(h2)
这里写图片描述
例如:eS1(h1)=0.3 eS2(h2)=0.2 假设eD(h1)>eD(h2) 其中n1=n2=100
给出 d^=0.1 假设eD(h1)>eD(h2)
即:d^=0.1 假设d>0
d+0.1>d^ 注意d是d^的均值
即:d^

版权声明:本文为博主原创文章,未经博主允许不得转载。

为什么机器学习中, 要假设我们的数据是独立同分布的

“独立同分布”条件对于机器学习来讲必需吗 问题二:王珏教授认为统计学习不会“一帆风顺”的判断依据是:统计机器学习算法都是基于样本数据独立同分布的假设。但是自然界现象千变万化,王珏教授认为“哪...

机器学习中模型评估与选择中的几个小问题

Training set、Validation set 与 Testing set有关于训练数据的过程中,validation与testing有何区别,validation的作用到底是什么? Cros...

Spark2.0机器学习系列之2:Logistic回归及Binary分类(二分问题)结果评估

参数设置α:梯度上升算法迭代时候权重更新公式中包含 α : http://blog.csdn.net/lu597203933/article/details/38468303 为了更好理...

斯坦福大学机器学习笔记——当训练模型性能不好时的措施(假设评估、模型选择和交叉验证集、正则化、学习曲线)

以我们前面讲述的线性回归为例,比如我们在训练集上训练出最优的模型,但是当我们将其使用到测试集时,测试的误差很大,我们该怎么办? 我们一般采取的措施主要包括以下6种: 增加训练样本的数目(该方法适用于...

评估机器学习的模型

  • 2016年12月30日 14:33
  • 1.74MB
  • 下载

机器学习(六) - - 模型评估和选择①经验误差与过拟合

模型评估和选择(一) 经验误差和过拟合
  • zmdsjtu
  • zmdsjtu
  • 2016年09月29日 12:32
  • 1616

机器学习实战:模型评估和优化

原文:Real-World Machine Learning: Model Evaluation and Optimization  作者:Henrik Brink, Joseph W. Richa...

机器学习性能评估指标(精确率、召回率、ROC、AUC)

转自:http://charlesx.top/2016/03/Model-Performance/ 实际上非常简单,精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是对的。那么预测为...

机器学习笔记(二)模型评估与选择

2.模型评估与选择 2.1经验误差和过拟合 不同学习算法及其不同参数产生的不同模型,涉及到模型选择的问题,关系到两个指标性,就是经验误差和过拟合。 1)经验误差 错误率(errorrate):分类错误...

机器学习算法 原理、实现与实战——模型评估与模型选择

1. 训练误差与测试误差 机器学习的目的是使学习到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。 假设学习到的模型是Y=f^(X)Y=f^(X),训练误差是模型Y=f^(X)Y=...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习---假设的评估问题
举报原因:
原因补充:

(最多只允许输入30个字)