《统计学习方法》学习笔记(一):统计学习方法概论

原创 2015年11月18日 14:02:08

  最近开始研究机器学习,初步接触了几种常见的机器学习方法,在学习过程中,发现这些算法运用了大量的统计知识,为了对算法有更深刻的认识,在网上搜到了李航博士写的《统计学习方法》非常适合机器学习入门学习,于是在学校图书馆借来学习,接下来是我对本书每章节的个人笔记,边学习边总结,有一起学习的可以讨论。
  第一章介绍的是统计方法的常用预备知识,是本书内容的基础。
  

统计学习

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习。

  我们从统计学习的概念中提取关键点:1.基于数据;2.构建模型;3由模型预测数据。就是这三个步骤构成了我们的学习过程,在已有的数据中提取数据的特征,这些特征具有一定的规律性(就像小学时,判学习鸟时,有羽毛等等),接下来做的就是去发现这些规律,对于规律我们可以总结成文字,而对于计算机来说,就需要构建符合规律的模型(这就是需要用数学语言了),那么这个规律正确性是否屡试不爽呢?找些样本验证一下呗,顺带着可以调整一下,进过一番“磨合“,开始运行,找来未知数据进行预测了,达到目的。这就是整个学习的过程。
  统计学习包括:监督学习、半监督学习、强化学习以及半监督学习(前面的文章对上述做过介绍,这里不再介绍),本书主要讨论监督学习。下面是监督学习的模型,其学习目的为在输入和输出中找到一个映射函数f(x):yif(xi),即函数的输出与输入数据的label相差足够下,不断的尝试找到最好的模型,以便对训练集有足够好的预测,同时对未知的测试集的预测也尽可能好。
  这里写图片描述

统计学习三要素

  统计学习方法分为三部分: 方法=模型+策略+算法
  1、模型
  在监督学习过程中,模型就是所要学习的条件概率或决策函数。模型的假设空间含有所有可能的条件概率p(Y|X)或者决策函数Y=f(X)
  2、策略
  得到模型的假设空间H后,我们要从这个集合中选取最优的模型,那么遵循怎样的准则学习去得到最优的模型呢?这就引入了损失函数和风险函数两个概念去度量Yf(X)的一致性。
0-1损失函数 {10Yf(X))          Y=f(X))          
  平方损失函数:L(Y,f(X))=(Yf(X))2
  绝对损失函数: L(Y,f(X))=|Yf(X)|
  对数损失函数:L(Y,f(X))=logP(Y|X)
损失函数期望:
   Rexp(f)=Ep[L(Y,f(X))]=X,YL(y,f(x))P(x,y)dxdy
即模型f(X)关于联合分布P(X,Y)的平均意义下的损失,成为风险函数或期望损失。
  学习的目的:选择期望风险最小的模型,然而由于P(X,Y)未知,故Rexp(f)不能直接计算。这就是一个病态问题(ill-formed problem),一方面要选择期望风险最小的模型要用到P(X,Y);另一方面P(X,Y)又是未知的。故正面不能解决,就找到他的等价问题。
   经验风险:Remp(f)=minfH1NNi=1L(yi,f(xi))
Remp(f)关于P(X,Y)的期望损失。当N时,Remp(f)Rexp(f),然而训练样本集数目有限,要对经验风险矫正保证正确率。最小化经验风险(ERM)和结构风险最小(SRM)就是解决上述情况。
  ERM:  minfH1NNi=1L(yi,f(xi))+λJ(f)
其中,H为假设空间,当模型为条件概率分布,损失函数为对数损失函数时,ERM等价于极大似然估计(Maximum Liklihood Estimation),适用于样本容量大时,而对于小样本时易产生过拟合。
  结构风险: 1NNi=1L(yi,f(xi))+λJ(f)
添加正则项为防止过拟合现象,其中J(f)衡量模型f的复杂度:f复杂,对应J(f)大,而f简单时,J(f)小。当模型为条件概率分布时,损失函数为对数损失函数,等价于最大后验概率估计(Maximum Posterior Probability),故SRM:
   minfH1NNi=1L(yi,f(xi))+λJ(f)
从而监督学习问题转化为,求解SRM和ERM问题。
3、算法
  选择出最优模型,接下来就是根据求解模型从而得到全局最优解(有时由于目标函数求解复杂度,只能近似求解局部最优值)。
  总结:其实就是三步,确定用什么模型(如:是线性问题啊,各种线性方程:x+y=3,2x+5y=5等等的)有了一个大概的符合集合,然后就是挑选最好的那个了,最后求解模型。
  检验模型是否合理,我们不仅要使模型对训练样本的样本误差小,而且还要对未知数据正确预测,防止模型过度复杂,产生过拟合现象,提高模型的泛化能力;对模型进行验证一般采用:简单交叉验证、S折交叉验证、留一交叉验证;

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

统计学习方法读书笔记-概论

李航统计学习概论学习笔记

第一章 统计学习方法概论

统计学习 统计学习是基于数据构建模型,并运用模型对数据进行预测和分析的一门学科。 统计学习对数据的基本假设是同类数据具有一定的统计规律性,即可以用概率统计方法来学习。 监督学习的假设是训练数据和测试数...

统计学习方法概论

1.统计学习统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用数据进行预测与分析的一门学科。统计学习又称为统计机器学习(statistical machin...

统计学习方法概论

1.统计学习        统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计算...

统计学习方法概论(未完待续)

1.1统计学习统计学习:关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。包括监督学习、非监督学习、半监督学习及强化学习。主要特点: 以计算机及网络为平台 以数据为研究对象 ...

统计学习方法概论

1.监督学习统计学习方法包括了 监督学习(Supervised Learning) 非监督学习(Unsupervised Learning) 半监督学习(Semi-supervised Learnin...

统计学习方法概论

1.1 统计学习1. 统计学习的特点统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并利用模型进行分析与预测的一门学科。统计学习也称为统计机器学习(statis...

第1章 统计学习方法概论——第4~6节 模型选择、正则化和交叉验证、泛化能力

关于统计学习方法的知识,参考书《统计学习方法》,李航著,清华大学出版社。 第一章 统计学习方法概论 第4节 过拟合与模型选择 第5节 正则化和交叉验证 第6节 泛化能力

一、概论--统计学习方法总结

统计学习方法统计学习方法 一统计学习方法概论 1 统计学习 2监督学习 21输入空间特征空间输出空间 22联合概率分布 23假设空间 3 统计学习的三要素 31 模型 32策略 4模型评估与模型选择 ...

第一章——统计学习方法概论

统计学习 统计学习:监督学习(supervised learning)、非监督学习(unsupervised learning)、半监督学习(semi-supervised learning)、强化学...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)