《统计学习方法》读书笔记——第六章 逻辑斯谛回归与最大熵模型

最新推荐文章于 2022-04-18 14:19:15 发布
最新推荐文章于 2022-04-18 14:19:15 发布
阅读量223 收藏
点赞数
分类专栏： 统计学习方法-李航 读书笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s000da/article/details/88595666
版权

写在前面

本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

目录

写在前面

本章框架

逻辑斯谛回归模型

最大熵模型

模型学习的最优化方法

补充知识点

本章框架

逻辑斯谛回归模型

名称公式描述

逻辑斯谛回分布

 
逻辑斯谛回归模型

二项逻辑斯谛回归：

多项逻辑斯谛回归：

是参数化的逻辑斯谛分布

几率：该事件发生的概率与不发生概率的比值

对数几率：几率求对数

最大熵模型

最大熵原理➡️最大熵模型➡️最大熵模型的学习

  • 最大熵原理

在满足约束条件的所有模型中选取熵最大的那个（服从均匀分布时熵最大）

  • 最大熵模型

将最大熵原理应用在分类中得到最大熵模型，q即寻找条件熵最大的模型。

最大熵模型是由以下条件概率分布表示的分类模型，应用于二分类和多分类。 

  • 最大熵模型的学习

涉及到最大熵，等价为约束最优化问题，又转换为无约束最优化的对偶问题

模型学习的最优化方法

逻辑斯谛回归模型和最大熵模型都归结为以似然函数为目标函数的最优化问题，迭代求解方法：

  • 改进的迭代尺度法
  • 拟牛顿法

补充知识点

 

'Themis'
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习总结(二)——逻辑斯谛回归和最大熵模型
码农王小呆的博客
12-07 1842
一、逻辑斯谛回归1. 逻辑斯蒂回归的优缺点优点：计算代价不高，易于理解和实现，且若采用随机梯度上升法可以在线学习； 速度快，存储资源低。缺点：可能容易欠拟合，分类精度不高，这个可能是因为我们无法找到足够的特征。只能处理两类分类问题，且必须是线性可分的；（在此基础上衍生出来的softmax可以用于多分类）2. 与其它的分类算法比较直接用线性回归做分类因为考虑到了所有样本点到分类决策面的距离，所以在两类
《统计学习方法》笔记（五）逻辑斯蒂回归与最大熵模型
05-23
《统计学习方法》笔记（五）逻辑斯蒂回归与最大熵模型
[ML] 逻辑斯谛回归与最大熵模型
YasinQiu的博客
03-14 443
知识准备 极大似然估计 极大似然估计就是给定一个训练数据集T, 寻找模型的最优参数值θ, 达到一个这样的效果: 给模型输入训练集的X, 能以最大的概率输出其正确的分类Y. 求θ的过程就是最大化似然函数L(θ)的过程. L(θ)=P(T|θ)=P(x1,...,xN|θ)=∏i=1NP(xi|θ)L(θ)=P(T|θ)=P(x1,...,xN|θ)=∏i=1NP(xi|θ)L(θ) = P...
统计学习方法 第6章 逻辑斯谛回归与最大熵模型（1）
super_chicken的博客
12-11 340
统计学习方法 第6章 逻辑斯谛回归与最大熵模型（1）逻辑斯谛分布设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数： 其中μ为位置参数，γ为形状参数。逻辑斯谛分布的密度函数和分布函数： 二项逻辑斯谛回归模型二项逻辑斯谛回归模型是如下的条件概率分布： 对于给定的输入实例x，求得P(Y=1|x)和P(Y=0|x)，比较两个条件概率值的大小，将实例x分到概率值较大的一
逻辑斯谛回归模型（ Logistic Regression，LR）& 最大熵模型（Max Entropy，ME）
Michael是个半路程序员
01-20 3232
文章目录1. Logistic Regression 模型1.1 logistic 分布 1. Logistic Regression 模型 1.1 logistic 分布 定义：设 XXX 是连续随机变量， XXX 服从 logistic 分布是指 XXX 具有下列分布函数和密度函数： F(x)=P(X≤x)=11+e−(x−μ)/γF(x) = P(X \leq x) = \frac{1}{1...
【统计学习方法】第六章 逻辑回归与最大熵模型
aaon22357的博客
05-20 333
文章目录基础概念第六章 逻辑回归与最大熵模型1. 逻辑回归模型1.1 逻辑斯谛分布1.2 二项逻辑斯谛回归模型1.3 模型参数估计1.4 多项逻辑斯谛回归2. 最大熵模型3. 模型学习的最优化算法（略）3.1 改进迭代尺度法3.2 拟牛顿法 基础概念 逻辑回归与最大熵模型都属于对数线性模型。   第六章 逻辑回归与最大熵模型   1. 逻辑回归模型 1.1 逻辑斯谛分布 1....
统计学习方法——第6章 逻辑斯谛回归与最大熵模型（个人笔记）
pk296256948的博客
04-18 332
统计学习方法——第6章 逻辑斯谛回归与最大熵模型（个人笔记） 参考《统计学习方法》（第二版）李航 逻辑斯谛回归模型与最大熵模型都属于对数线性模型。 6.1 逻辑斯谛回归模型 6.1.1 逻辑斯谛分布 定义6.1 （逻辑斯谛分布） 设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数： 其中，为位置参数，为形状参数。 6.1.2 二项逻辑斯谛回归模型 定义6.2 （逻辑斯谛回归模型） 二项逻辑斯谛回归模型条件概率分布如下： 其中，Y是输出，w为权重.
电信保温杯笔记——《统计学习方法（第二版）——李航》第6章 逻辑斯谛回归与最大熵模型
sinat_39448069的博客
02-23 720
《统计学习方法（第二版）——李航》第6章 逻辑斯谛回归与最大熵模型 笔记) # 论文 [《统计学习方法（第二版）——李航》 笔记](https://blog.csdn.net/sinat_39448069/article/details/122519573) 逻辑斯谛回归论文： 最大熵模型论文：《A maximum entropy approach to natural language processing》 IIS论文： 《The improved iterative scaling algorith
机器学习算法——逻辑斯谛回归模型&最大熵模型
小简铺子
05-17 1423
1前言 本篇博客主要记录两个分类模型(逻辑斯谛回归模型和最大熵模型)原理及模型的代码实现，将这两个模型放一块的原因是这两个模型都是对数线性模型，都是由条件概率分布表示P(Y|X). 这两种机器学习的算法的实例都是基于Titanic数据集,关于数据集的特征工程部分就不具体介绍，笔者在其他博文中已经详细描述了,此篇博客将直接使用已经经过特征工程处理后的数据集进行模型训练。 2逻辑斯谛回归模型 ...
统计学习方法笔记（李航）———第六章（逻辑斯谛回归）
weixin_44023658的博客
11-08 535
前言： 《统计学习方法》虽然分别对两者作了介绍，但没有深入讨论它们之间的联系。本文准备从最大熵模型出发，推导出逻辑斯谛回归模型，并解释两者的联系与区别。 本文主要从以下几个方面进行描述： 最大熵原理的数学解释 如何理解条件分布的极大似然函数 将最大熵模型转化为逻辑斯谛模型 一、从最大熵模型到逻辑斯谛回归 （一）最大熵模型 最大熵原理 我们知道（参考第5章）信息熵用于衡量一个随机变量的“不确定性”，熵越大，表示随机变量的不确定性越高。也证明了，当随机变量为均匀分布的时候，它的熵最大。 “最大熵原理”的意思
清华出品 机器学习技术课程 统计学习方法第二版系列课程 第6章 Logistic回归与最大熵模型 共75页.pptx
05-03
第6章 Logistic回归 共75页.pptx 第7章 SVM及核函数 共159页.pptx 第8章 adaboost 共75页.pptx 第9章 EM算法 共48页.pptx 第10章 隐马尔科夫模型 共64页.pptx 第11章 条件随机场 共63页.pptx 第13章 无监督学习概论 ...
逻辑斯蒂回归于最大熵模型笔记
02-23
逻辑斯蒂回归于最大熵模型笔记 逻辑斯蒂回归模型是机器学习中的一种常用模型，广泛应用于分类问题。逻辑斯蒂回归模型可以将线性模型转化为概率，用于预测事件的发生概率。在机器学习中，逻辑斯蒂回归模型是一种基本...
全套清华大学数据分析 统计学 系列课程 06 第六章 Logistic回归 逻辑斯的回归与最大熵模型（共54页）.pptx
09-21
全套清华大学数据分析 统计学 系列课程 06 第六章 Logistic回归 逻辑斯的回归与最大熵模型（共54页）.pptx 全套清华大学数据分析 统计学 系列课程 07 第七章 支持向量机 （共95页）.pptx 全套清华大学数据分析 ...
从逻辑回归到最大熵模型.rar
10-18
《从逻辑回归到最大熵模型》是一份深入探讨统计学习方法的资料，主要涵盖了两种重要的概率分类模型：逻辑回归和最大熵模型。这两者在人工智能（AI）、自然语言处理（NLP）以及机器学习领域中有着广泛的应用。下面将...
jiaoyanguizeduibi
07-10
jiaoyanguizeduibi
戴师兄数据分析启蒙课_Tableau练习.twbx
07-10
戴师兄数据分析启蒙课_Tableau练习.twbx
2024年欧洲酒精测试仪和药物测试设备市场主要企业市场占有率及排名.docx
07-09
2024年欧洲酒精测试仪和药物测试设备市场主要企业市场占有率及排名.docx
理工科考研自动控制知识点大全
最新发布
07-10
理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全理工科考研自动控制知识点大全
第三章 线性模型1
08-08
第三章 线性模型主要探讨了统计学习方法中的核心概念，特别是针对线性预测模型的分析。首先，最小二乘法（Least Squares Method）是本章的核心内容，它是通过最小化样本数据点到预测直线的平均欧几里得距离来建立...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值