机器学习系列笔记(五)

learning 拆分为两个问题
一:我们如何可以让Ein(g)和Eout(g)足够接近?
二:如何让Ein(g)变的越来越小?

M hyposesis的大小
M比较小的时候:good,p[bad<=2Mexp],bad 很少的选择
M比较大的时候:好的选择,坏事情发生的机率增加

把hypotheses 分类
怎么分类
从一个Data 来看只有两种线 一种是判定它为是的线,否则反之.
那从两个data来看? 那就有四种线~ 正正,反反,正反,反正
那3个? 2的三次方条线 但是 如果三个在一条线上,那么就有2种情况是线性hypotheses没办法产生的
那4个呢?2的四次方-2
那么我们称可以的线叫作effective number of lines
那么我们可以把大M取代掉

这里引入一个叫dichotomies
和hypotheses 区别于 hypotheses 是很多的直线在R实数范围内,范围是无限大
而dichotomies只对N个来取值,是oox,xxo,是有几种不同的类型, 最多是2的N次方

Mh(N) –>growth function 成长函数

positive ways
N+1<2的n次方
positive intervals
1/2(N平方+N)+1<2的n次方

我们把之前的那种不能分的点叫做break point