Agnostic Learning (不可知学习)

原创 2016年05月07日 19:29:27

Agnostic Learning (不可知学习)


Computational Learning Theory (Cont.)

The Vapnik-Chervonenkis(VC) dimension

- Shattering a set of instances
- VC dimension

    - Definition and several examples


The Vapnik-Chervonenkis(VC) dimension

  • An unbiased hypothesis spaceis one that shatters the instance space X.
  • Sometimes X cannotbe shattered by H, but a large subset of it can.
  • Definition: The Vapnik-ChervonenkisDimensionVC(H)of hypothesis space Hdefined over instance space X
  • is the size of the largestfinite subset of X shattered by H.
  • if arbitrarily large finite sets of X can be shattered by H, then VC(H)≡∞
  • If we find ONE set of instances of size d that can be shattered, then VC(H) d.
  • To show that VC(H)

VC Dim. Examples (1)

  • Example 1:
    • Instance space X: the set of real numbers
      X = R
    • H is the set of intervals on the real number axis.
    • Form of H is: a < x < b
    • VC(H) = ?



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

TLD(Tracking-Learning-Detection)算法学习与源码解析(二)之runtld.cpp源码解析

本序列文章的目的是总结一下这段时间所学到的,主要分为以下几部分,本章是第二部分。 1 算法概述  2 runtld.cpp源码解析 3 tld.cpp源码解析 4 LKTracker(重点)...

《Neural network and deep learning》学习笔记(一)

Using neural nets to recognize handwritten digitsLearning with gradient descent对于一个网络,它的代价函数:C(w,b)≡...

机器学习基石2-2 PLA(Perceptron Learning Algorithm)

本节主要针对上节讲的一种简单的h(x)的形式所进行较为深入的讲解。 回顾上节,h(x)的形式如下: h(x)表现为一个n+1维的向量W和向量X的内积。 首先搞清楚一个概念...

Machine Learning第一讲[单变量线性回归] --(二)参数学习

内容来自Andrew老师课程Machine Learning的第一章内容的Parameter Learning部分。一、Gradient Descent梯度下降算法可将代价函数J最小化,梯度下降算法不...

Lecture 1: The Learning Problem(学习问题)

Lecture 1.The Learning Problem(学习问题) 1.1 CourseIntroduction(课程介绍)  1.2WhatIs Machine Learning(什么是机器...
  • clioh
  • clioh
  • 2015-08-07 17:09
  • 141

Learning Spark 学习笔记 第三章 RDDs编程

概述: RDD(resilient distributed dataset,弹性分布式数据集),是一个抽象概念,是可分布式存储和处理的数据的集合。spark中可进行RDD的创建;转化已存在的RDD为...

Machine Learning With Spark学习笔记(在10万电影数据上训练、使用推荐模型)

我们现在开始训练模型,还输入参数如下: rank:ALS中因子的个数,通常来说越大越好,但是对内存占用率有直接影响,通常rank在10到200之间。 iterations:迭代次数,每次迭代都会减...

Coursera Machine Learning 学习笔记(十二)

Coursera Machine Learning 学习笔记(十二)

李宏毅机器学习课程笔记8:Structured Learning - Linear Model、Structured SVM、Sequence Labeling

台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料,李宏毅老师将课程录像上传到了YouTube,地址:NTUEE ML 2016 。 这篇文章是学习本课程第22-24课所做的笔记和自己...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)