《统计学习方法》笔记二

最新推荐文章于 2024-04-06 17:01:29 发布
最新推荐文章于 2024-04-06 17:01:29 发布
阅读量261 收藏
点赞数
分类专栏： 机器学习 读书笔记 文章标签： 统计学 优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TheOneAc1/article/details/77922968
版权

逻辑回归与最大墒

逻辑回归

logistic分布

这里写图片描述

logistic回归模型

这里写图片描述

逻辑回归中输出是输出的线性函数

这里写图片描述

多项logistic回归

这里写图片描述

最大墒模型

这里写图片描述

最大墒模型的最优化函数

这里写图片描述

拉格朗日转化

这里写图片描述
这里写图片描述

最大化过程的等价于最大熵模型的极大似然估计

这里写图片描述

最优化算法

*最优化算法待理解*

SVM

距离

当||W|| = 1 时，函数间隔等于几何间隔
这里写图片描述
这里写图片描述

间隔最大化

约束最优化问题

这里写图片描述
这里写图片描述

支持向量

这里写图片描述

对偶问题

这里写图片描述
这里写图片描述

线性可分支持向量机

这里写图片描述

软间隔

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

核技巧

  • 原空间数据线性不可分，转换到新空间实现线性可分
  • 支持向量机中目标函数和决策函数都只涉及输入实例与实例之间的内积，可以将内积用核函数替代

这里写图片描述
这里写图片描述

SMO算法

提升方法

AdaBoost

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

提升树

这里写图片描述
这里写图片描述

TheOneAc1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
统计学习方法——李航 笔记
qq_45383347的博客
12-02 3116
第一章 概论 统计学习的目标在于：从假设空间中选取最优模型 统计学方法三要素：方法=模型+策略+算法 训练集用来训练模型，验证集用来选择模型，测试集用于对学习方法的评估。 1、输入变量和输出变量均为连续变量的预测问题称为回归问题，输出变量均为有限个离散变量的预测问题称为分类问题，输入变量和输出变量均为变量序列的预测问题称为标注问题 2、监督学习： 3、无监督学习： 4、模型：所要学习的条件概率分布或决策函数。 模型的假设空间：包括所有可能的条件概率分布或决策函数。 5、两个基本策略：经验风险最小化和结构
李航·《统计学习方法》学习笔记
promisejia
12-03 6504
第一章 统计学习的方法概论 1 统计学习概述统计学习的过程 统计学习的分类 监督学习的分类 1 生成方法与判别模方法 11 生成方法 11 判别方法 2 分类问题标注问题和回归问题 21 分类问题 22 标注问题 23 回归问题 2 模型 3 策略31 损失函数 32 经验损失期望损失和结构损失 33 经验风险最小化结构风险最小化和目标函数 4 算法 5 模型评估和模型选择51 模型评估 21 模型
《统计学习方法》（李航）——学习笔记
Iron_lyk Blog
03-09 1490
《统计学习方法》（李航）学习笔记
【学习笔记&Python代码】统计学习方法第二版 李航
热门推荐
w0714的博客
08-09 4万+
以后我会在博客记录自己学习《统计学习方法》第二版这本书的笔记，其实也就是我自己认为比较重要或者有用的内容，以及部分python代码的实现。
统计学习方法-理论知识学习笔记
忆_恒心的博客
07-11 1456
目录 前言： 1 统计学习的方法概论 1.1 统计学习 1.1.1 统计学习特点 1.1.2 统计学习的对象 1.1.3 统计学习的目的 1.1.4 统计学习的方法 1.1.5 统计学习的研究 1.1.6 统计学习的重要性 1.2 监督学习 1.2.1 基本概念 1.3 统计学习三要素 1.3.1 模型 1.3.2 策略 1.3.3 算法 1.4 模型评估与模型选择 1.4.1 训练误差与测试误差 1.5 正则化与交叉验证 1.5.1 正则化 1.5.2 交叉验.
统计学习方法——第1章（个人笔记）
pk296256948的博客
04-03 2029
统计学习方法——第1章 统计学习及监督学习概论 《统计学习方法》（第二版）李航，学习笔记 1.1 统计学习 1.特点 （1）以计算机及网络为平台，是建立在计算机及网络上的； （2）以数据为研究对象，是数据驱动的学科； （3）目的是对数据进行预测与分析 （4）以方法为中心，构建模型并应用模型进行预测与分析； （5）是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科，并且在发展中逐步形成独自的理论体系与方法论。 2.对象 就是数据 3.目的 对数据的预测和分
《统计学习方法》学习笔记
hollow__world的博客
03-31 1726
参考： 【机器学习】判别模型vs生成模型、概率模型vs非概率模型（1）建立在计算机及其网络上的 （2）研究对象是数据 （3）目的是对数据进行预测与分析 （4）以方法为中心，构建模型->应用模型 （5）多学科的交叉，包括概率论，统计学，信息论，计算理论，最优化理论等多个领域。统计学习会将同类数据具有一定的统计规律性作为基本假设。 例如一堆看似杂乱无章的数据但是假设其具有某种分布概率考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确的预测与分析，并且还需尽可能的提高学习效率。主要包括监督学习，无监督学
统计学习方法(李航)pdf
最新发布
zhuwujie0331的博客
04-06 590
统计学习方法》（李航著）：特别适用于机器学习领域的统计背景知识学习。(访问密码: 7776)（注：文档仅为个人学习使用)
统计学习方法第二版pdf_notability笔记pdf版乱码解决方法
weixin_39765339的博客
12-14 1267
不想看全文的同学：pdf在电脑wps打开——打印——以wps pdf形式保存导出——再打开，用wps的缩小pdf大小的功能压缩文件———————————分割线————————————————本来想讲故事，算了，直接上解决方法吧笔记在notability里以pdf导出，保存在百度网盘中，卸掉notability后，装上自己账号买的，结果导进去，文件乱码了，只有笔记看得到，pdf文字不见了。如下图：w...
统计学习方法(第二版)+简博士 读书笔记
m0_50650660的博客
08-11 1174
自己学习过程所记笔记
统计学习方法笔记-基于Python算法实现源码.zip
06-01
统计学习方法笔记-基于Python算法实现。统计学习方法笔记-基于Python算法实现 所有代码均可直接运行。统计学习方法笔记-基于Python算法实现。统计学习方法笔记-基于Python算法实现 所有代码均可直接运行。统计学习...
统计学习方法学习笔记
01-07
决策树 决策树可用ID3、C4.5、CART算法生成树 ... .get函数两个参数时，第二个应重新字典引用，见下面使用方法 arabic += ara_rom_dict.get(s[index-1:index+1],ara_rom_dict[value]) return ara
统计学习方法 读书笔记（五）
01-06
本文主要参考书籍为《统计学习方法》（李航）第二版 参考 Sunning_001的博客 决策树决策树的定义if-then 的理解条件概率分布的理解决策树学习特征选择信息增益信息增益比基尼指数决策树的生成ID3C4.5剪枝CART算法 ...
《统计学习方法》学习笔记 第一章概论
01-20
即统计学习方法三要素：模型、策略、算法。 2、监督学习 输入空间、输出空间、特征空间 联合概率分布、假设空间：输入空间到输出空间的映射的集合 3、三要素 3.1 模型 对监督学习，就是条件概率分布或决策函数 3.2...
Bagging 与Boosting 特点分析
TheOneAc1的博客
07-30 3784
bagging 与boosting的数学原理
《统计学习方法》笔记一
TheOneAc1的博客
09-09 962
统计学习对象 统计学习对象是数据，从数据出发，提取出特征，抽象出数据模型，发现数据知识，用于对回溯的分析和预测中 统计学习方法 获取新年数据集合 确定所有可能包含模型的假设空间，即学习模型的集合（模型） 确定模型选择准则（策略） 实现最优求解模型的算法（算法） 选择最优模型 利用最优模型分析预测新数据 监督学习每一个输入实例由一个输入向量表示 回归：输入输出变
PCA与SVD简洁解析（参考CS231n)
TheOneAc1的博客
07-30 836
PCA算法 PCA的算法步骤： 设有m条n维数据。 1）将原始数据按列组成n行m列矩阵X 2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值 3）求出协方差矩阵C=1mXXTC=1mXXT 4）求出协方差矩阵的特征值及对应的特征向量 5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P 6）Y=PXY=PX即
Gradient boosting Newton boosting
TheOneAc1的博客
01-22 620
Gradient boosting Newton boosting Newton tree boosting
回归（regression）
TheOneAc1的博客
09-03 506
回归定义： 岭回归与LASSO回归 支持向量机转化 非线性支持向量机 核函数 流形学习测地线（流形空间距离） PCA 流形空间距离 ISOMAP KD-Tree 优化搜索树Approximate Kmeans 推荐SVD
李航统计学习方法笔记
09-01
李航的《统计学习方法》是一本经典的统计学习教材，其中涵盖了统计学习的基本理论和方法。该书主要介绍了统计学习的三要素：模型、策略和算法。引用提到，训练集用来训练模型，验证集用来选择模型，测试集用于对学习方法的评估。这些三要素是统计学习方法的基础。引用进一步解释了统计学习的目标，即通过构建概率统计模型对数据进行准确的预测与分析，并提高学习效率。引用提到了一种常用的统计学习方法，即提升(boosting)，它通过改变训练样本的权重，学习多个弱分类器，并将它们线性组合成一个强分类器，以提高分类的性能。 总结起来，李航的《统计学习方法》笔记主要围绕统计学习的基本理论和方法展开，介绍了统计学习的三要素、目标和提升等常用方法。这本书对于学习统计学习的人来说是一本非常有价值的参考资料。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [统计学习方法——李航 笔记](https://blog.csdn.net/qq_45383347/article/details/110482540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [李航《统计学习方法》学习笔记](https://blog.csdn.net/liuzuoping/article/details/98840923)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值