李航统计学习方法

最新推荐文章于 2023-08-07 08:08:47 发布
最新推荐文章于 2023-08-07 08:08:47 发布
阅读量614 收藏
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42376458/article/details/107377077
版权

统计学习方法概论：

统计学习特点

统计学习的对象是数据，它要求数据是独立同分布的，从数据中提取特征，抽象出模型，发现数据中的规律然后对数据进行分析于预测。

统计学习方法三要素

模型、策略 、算法

模型：

模型是所要学习的条件概率分布或决策函数，首先模型有一个假设空间，其包含所有可能的条件概率分布函数或者决策函数，假设空间中的模型有无穷多个。
在这里插入图片描述
在这里插入图片描述

策略

策略就是按照什么样的准则学习或者选择最优的模型，期望风险最小化是理论上的原则，但是期望风险不可以得到，所以用经验风险最小化原则和结构风险最小化原则替代期望风险最小化。经验风险最小化原则适合于大样本，当样本无限大其等效于期望风险最小化，但是当样本较小时容易出现过拟合现象。结构风险最小化是争对小样本，防止过拟合的情况，结构风险化就是在经验风险化上增加了一个正则化项，是一个随着模型的复杂度增加而递增的函数，以此来限制模型过于复杂而出现过拟合。确定策略实际上就是确定了最优化的目标函数。

算法

用什么算法求解最优化目标函数。

模型的评价

泛化误差，泛化误差上界越小越好。
在这里插入图片描述

生成方法和判别方法

在这里插入图片描述
在这里插入图片描述

感知机

感知机算法是神经网络和支持向量机的基础，对线性可分的数据具有收敛性
在这里插入图片描述

贝叶斯

朴素贝叶斯

在这里插入图片描述

贝叶斯估计

在这里插入图片描述

决策树

决策树的两个步骤生成树和剪枝，生成树的关键是特征选择，依据信息增益来选择区分度高的特征。剪枝的关键是依据损失函数，剪枝消去过拟合的情况。

信息增益计算

在这里插入图片描述

ID3生成树算法

在这里插入图片描述

出4.5生成树算法

在这里插入图片描述

决策树剪枝

在这里插入图片描述
在这里插入图片描述

CART算法

在这里插入图片描述
在这里插入图片描述

CART剪枝

在这里插入图片描述

安东time
关注
专栏目录
统计学习方法——李航 笔记
qq_45383347的博客
12-02 3157
第一章 概论 统计学习的目标在于：从假设空间中选取最优模型 统计学方法三要素：方法=模型+策略+算法 训练集用来训练模型，验证集用来选择模型，测试集用于对学习方法的评估。 1、输入变量和输出变量均为连续变量的预测问题称为回归问题，输出变量均为有限个离散变量的预测问题称为分类问题，输入变量和输出变量均为变量序列的预测问题称为标注问题 2、监督学习： 3、无监督学习： 4、模型：所要学习的条件概率分布或决策函数。 模型的假设空间：包括所有可能的条件概率分布或决策函数。 5、两个基本策略：经验风险最小化和结构
统计学习方法(李航)pdf
最新发布
zhuwujie0331的博客
04-06 1105
统计学习方法》（李航著）：特别适用于机器学习领域的统计背景知识学习。(访问密码: 7776)（注：文档仅为个人学习使用)
统计学习方法---李航
wj199992的博客
03-17 5215
统计学习方法笔记 第一章:统计学习概论 1.1 统计学习 统计学习( statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习(statistical machine learning). 机器学习称为统计学习更学术化。 Herbert A.simon对“学习”的定义我觉得挺好的：如果一个系统能够通过执行某个过程改进它的性能，这就是学习。 统计学习的对象是数据（data），它从数据出发，提取数据的特征，抽象出数据模型，
《统计学习方法》（李航）——学习笔记
Iron_lyk Blog
03-09 1663
《统计学习方法》（李航）学习笔记
李航——《统计学习方法》（一）
ccj211985的博客
11-09 5948
第1章 统计学习方法概论 1.统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。 也可以说统计学习就是计算机系统通过运用数据及统计方提高系统性能的机器学习。故统计学习也称为统计机器学习。 统计学习的对象是数据，数据分为由连续变量和离散变量表示的类型，其中同类数据是指具有某种共同性质的数据。在统计学习的过程中，以变量或者是变量组表示数据。 统计学习的方法是基于数据构建统计模型从而对数据...
李航统计学习方法-概论
flyinbirdf的专栏
10-21 244
在概论章节，主要介绍了机器的分类，统计学习三要素，误差分析和过拟合，正则化和交叉验证，泛化误差，生成模型和判别模型的区别，监督学习中的分类问题、标注问题和回归问题的介绍和划分标准。 机器学习分为监督学习、无监督学习、半监督学习和强化学习。 监督学习是通过学习一个模型（所以监督学习的关键是选定一个模型），是模型对任意输入，有一个好的结果预测。在统计学习方法的书中就监督学习进行了理论分析。 监督...
李航 统计学习方法
03-14
《统计学习方法》是李航博士的一本经典著作，它深入浅出地介绍了统计学习这一领域，涵盖了广泛的数学知识，对于数值分析、数据分析乃至整个理工科研究生的学习具有极高的参考价值。这本书旨在帮助读者理解并掌握统计...
Statistic-study-notes:李航统计学习方法（第二版）的学习笔记，包括：1、每章重点公式的手动推导 2、每章算法的Python自实现 3、学习过程中的笔记与心得 4、每章节的课后习题 5、每周都会按照至少一周一章的进度定时将自己的学习进度更新到这个仓库
05-27
李航统计学习方法（第二版）的学习笔记，包括： 1、每章重点数学公式的手动推导 均为手写然后扫描成图片，字迹不工整还望谅解，之后有时间会用Latex修正 点击数学公式没有出现图片的情况 需要搭梯子才可以在线预览到...
2012李航统计学习方法带目录
01-09
2012李航统计学习方法带目录
学习笔记：李航统计学习方法
niexinyu0026的博客
01-22 1953
是关于李航的《统计学习方法》的学习笔记 主要是看七月在线的网课 1 统计学习及监督学习概论 1.1 基础概念 概念：关于计算机基于数据构建概率统计模型、并运用模型对数据进行预测与分析的一门学科。也称为统计机器学习(statistical machine learning) 特点：以数据为研究对象，对数据进行预测与分析 对象：data 结构化data：数字。 非结构化data：文字、图像、视频、音频以及它们的组合 我们处理的都是结构化data，就算是图像音频，也要抽象成结构化data 数据的基本假设.
李航统计学方法
05-17
李航统计学方法标记版，用于基础算法理解，应对算法岗面试
李航--《统计学习方法总结》
To be a better man
07-22 398
方法 适用问题 模型特点 模型类型 学习策略 学习的损失函数 学习算法 感知机 二分类 分离超平面 判别模型 极小化误分点到超平面距离 误分点到超平面的距离 随机梯度下降 k紧邻算法 多类分类；回归 特征空间，样本点 判别模型 朴素贝叶斯法 多类分类 特征与概率的联合概率分布，条件独立假设 生成模型 极大似然估计，极大后验概率估计 对数似然损失 概率计算公式，EM算法...
李航《统计学习方法》笔记
zcg1942的博客
06-25 1341
虽然书名是统计学习，但是却是机器学习领域中和重要的一本参考书。当前的机器学习中机器指计算机，但是所运用的方法和知识是基于数据（对象）的统计和概率知识，建立一个模型，从而对未来的数据进行预测和分析（目的）。第一段提到的模型是很重要的，事实上，模型（model）是统计学习方法的三要素之一，其他另外两个策略strategy和算法algorithm也是围绕模型的，简单来说，策略决定了使用什么样的损失函数（...
李航—统计学习方法
AI玩转智能
11-05 658
AI 菌 今天分享的是李航老师的统计学习方法 链接：http://pan.baidu.com/s/1bL3LVo 密码：c272 内容简介  · · · · · · 《统计学习方法》是计算机及其应用领域的一门重要的学科。《统计学习方法》全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量
【李航】统计学习方法--1. 统计学习及监督学习概论（详细推导）
顾道长生的科研笔记
07-16 768
机器学习有下面几种定义： “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 “机器学习是对能通过经验自动改进的计算机算法的研究”。 “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 英文定义：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, ..
（统计学习方法|李航）第一章统计学习方法概论-一二三节统计学习及统计学习种类，统计学习三要素
weixin_57848728的博客
08-07 737
数据。
《统计学习方法》(李航)第1章主要内容介绍(统计学习概述、分类、三要素)
APPLECHARLOTTE的博客
10-17 451
李航所著《统计学习方法》第一章主要内容介绍(公式推导+代码实现)
统计学习方法_李航_笔记
曦瓜
11-24 386
统计学习方法_李航 因本人刚开始写博客，学识经验有限，如有不正之处望读者指正，不胜感激；也望借此平台留下学习笔记以温故而知新。这一篇文章介绍的是李航的统计学习方法一书的第一遍学习笔记。  统计学习方法概论  统计学习方法概论 统计学习的对象是数据，从数据出发，提取数据的特征， 抽象出数据的模型， 发现数据中的知识， 又回到对数据的分析与预测中去。 统计学习的目标是考虑学习什么样的模型...
《李航：统计学习方法》笔记之感知机
龙在天涯
09-24 8374
感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。 1. 感知机模型       感知机模型如下： f(x)= sign(w*x+b)       其中，x为输入向量，sign为符号函数
李航统计学习方法笔记
09-01
李航的《统计学习方法》是一本经典的统计学习教材，其中涵盖了统计学习的基本理论和方法。该书主要介绍了统计学习的三要素：模型、策略和算法。引用提到，训练集用来训练模型，验证集用来选择模型，测试集用于对学习方法的评估。这些三要素是统计学习方法的基础。引用进一步解释了统计学习的目标，即通过构建概率统计模型对数据进行准确的预测与分析，并提高学习效率。引用提到了一种常用的统计学习方法，即提升(boosting)，它通过改变训练样本的权重，学习多个弱分类器，并将它们线性组合成一个强分类器，以提高分类的性能。 总结起来，李航的《统计学习方法》笔记主要围绕统计学习的基本理论和方法展开，介绍了统计学习的三要素、目标和提升等常用方法。这本书对于学习统计学习的人来说是一本非常有价值的参考资料。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [统计学习方法——李航 笔记](https://blog.csdn.net/qq_45383347/article/details/110482540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [李航《统计学习方法》学习笔记](https://blog.csdn.net/liuzuoping/article/details/98840923)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值