![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习
smile4548656
这个作者很懒,什么都没留下…
展开
-
【李航-统计学习方法】1.5正则化与交叉验证
1、正则化模型选择典型方法是正则化。正则化是结构风险最小化策略的实现,是在经验风险上加一个正则化项或惩项。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化项就越大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。(注:结构风险最小化和经验风险在1.3统计学习三要素一文中有详细说明,这里为了好理解,仅简单写出式子)经验风险最小化:结构风险:根据定义给出正则化项的一般形式:正则化项可以取多种形式。举个栗子:在回归问题中,损失函数是平方损失,正则化项可以是参数向量的L1范数或L原创 2020-05-22 18:09:30 · 357 阅读 · 0 评论 -
【李航-统计学习方法】1.4模型评估与模型选择
1、训练误差与测试误差不同的学习方法会给出不同的模型。当损失函数给定时,基于损失函数的模型的训练误差和模型的测试误差就成为学习方法评估的标准。训练误差的大小,对判断给定的问题是不是一个容易学习的问题有意义。也就是说,一个问题越容易学习,那么它的训练误差就越小。但这本质上不重要。测试误差,反映了学习方法对未知的测试数据集的预测能力。测试误差小的方法具有更好的预测能力,是有效的方法。通常将学习方法对未知数据的预测能力称为泛化能力。统计学习的目的是使学到的模型不仅对已知数据而且对未知数据都有很好的预测效果原创 2020-05-22 15:02:14 · 720 阅读 · 0 评论 -
【李航-统计学习方法】1.3统计学习三要素
统计学习方法 = 模型 + 策略 + 算法1.模型学习一个什么样的模型是统计学习首先要考虑的问题。在监督学习中,模型就是要学习的条件概率分布或者决策函数。模型的假设空间就是所有可能的条件概率分布或者决策函数的总集合。举个例子就是,如果决策函数是输入变量的线性组合,那么假设空间中就是所有这些线性函数所构成的集合。也就是说,决策函数或者条件概率分布是什么,那么假设空间就是满足这种条件的所有可能性的集合。本书中称由条件概率表示的模型为概率模型,由决策函数表示的模型为非概率模型。2.策略有了模型的假设空间原创 2020-05-16 00:13:45 · 680 阅读 · 0 评论 -
【李航-统计学习方法】1.2统计学习的分类(二)
按模型分类统计学习或机器学习方法可以按照它们模型的种类进行分类。1.概率模型与非概率模型2.线性模型与非线性模型划分依据:函数y=f(x)和z=g(x)是线性函数还是非线性函数3.参数化模型和非参数化模型划分依据:模型参数的维度固定与否。按算法分类1.在线学习在线学习是指每次接受一个样本,进行预测,之后学习模型,并不断重复该操作的机器学习。在线学习可以是监督学习也可以是无监督学习,强化学习本身就拥有在线学习的特点。利用随机梯度下降的感知机学习算法是在线学习算法。2.批量学习批量学习原创 2020-05-14 22:32:14 · 249 阅读 · 0 评论 -
【李航-统计学习方法】1.2统计学习的分类(一)
一、基本分类统计学习或机器学习一般包括监督学习、无监督学习、强化学习。有时还包括半监督学习、主动学习。1.监督学习监督学习是指从标注数据中学习预测模型的机器学习问题。标注数据表示输入输出的对应关系,预测模型对给定的输入产生相应的输出。监督学习的本质是学习输入到输出的映射的统计规律。(1)输入空间、输出空间、特征空间输出空间:输出所有可能的集合,习惯上写为Y。输入空间:输入所有可能的集合,习惯上写为X。特征空间:每个具体的输入是一个实例,通常由特征向量表示。所有特征向量存在的空间称为特征空间。特原创 2020-05-14 15:54:00 · 698 阅读 · 0 评论 -
【李航-统计学习方法】1.1统计学习
@TOC第一章 统计学习及监督学习概论监督学习就是从有标注的数据中学得模型的机器学习问题1.1统计学习我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:全新的界面设计 ,将会带来全新的写作体验;在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;增加了 图片拖拽 功能,你可以将本地的图片直接拖拽到编辑区域直接展示;全新的 KaTeX数学公式 语法;增加了支持甘原创 2020-05-13 15:14:50 · 254 阅读 · 0 评论