离散选择模型（1) - Logistic与Logit回归模型

最新推荐文章于 2025-03-08 10:23:40 发布
最新推荐文章于 2025-03-08 10:23:40 发布
阅读量8.3k 收藏 24
点赞数 2
文章标签： 回归 学习 机器学习 数据挖掘 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_71971323/article/details/127323828
版权

1.线性概率模型（Linear Probability Model,PLM）

2.Logistic回归与Logit模型

1.PLM

线性回归模型在定量分析中比较流行，但是在分析分类变量的时候，会遇到困难，比如因变量是分类变量。在现实生活中，人们也会将连续变量转化成分类变量进行分析，如将成绩这个连续因变量转化成能否考上大学的二分类变量。

在线性回归模型中，对自变量的限定性并不强，只规定了自变量不能是其他变量的完全线性组合，并且自变量不能与误差项相关。自变量可以是连续变量，也可以是分类变量。但是线性回归模型中，对因变量做了限定，规定其只能是连续变量。

用一个例子阐述在线性回归模型中因变量不能是分类变量的原因。

假设用OLS解释家庭扫地机器人的购买情况（因变量是二分类变量）。

为了方便叙述，只考虑一个自变量，回归模型如下：

            

其中 x_{i} 表示第 i 个家庭的收入，y_{i} 是二分类变量，当 y_{i} = 1时，表示购买，否则 y_{i} = 0。假设x独立于残差项 e_{i} (残差：实际观测值与估计值（拟合值）之差)，残差项 e_{j} 是一个均值为0且独立于 e_{i} 的随机变量（意味着残差项之间相互独立）

在给定 x_{i} 的条件下，y_{i} 的期望为：

 由于 y_{i} 的取值为0或1，y_{i} 的期望实际上就是

最低0.47元/天 解锁文章
王长风
关注
Logistic回归模型
shuke1991的博客
06-02 6296
一、Logistic回归模型 线性回归模型要求因变量是连续型正态变量。当因变量是分类变量时，Logistic回归模型是最好的回归模型。 由于y只能取两个值1或0，y的条件数学期望： E(y|xi)=1*p(y=1|xi)+0*p(y=0|xi)=p(y=1|xi) 选择一个函数，p(y=1|x)=f(x)=Logistic函数，作为回归方程。即利用观测数据（xi，yi）拟合一个Logist
logit回归模型假设_LOGISTIC回归分析
weixin_36115023的博客
02-17 2824
前面的博客有介绍过对连续的变量进行线性回归分析，从而达到对因变量的预测或者解释作用。那么如果因变量是离散变量呢？在做行为预测的时候通常只有“做”与“不做的区别”、“0”与“1”的区别，这是我们就要用到logistic分析(逻辑回归分析，非线性模型)。参数解释(对变量的评价)发生比(odds)： ODDS=事件发生概率/事件不发生的概率=P/(1-P)发生比率(odds ratio)：odds ra...
Logit模型和Logistic模型
大龄小白爱折腾的博客
05-31 1万+
一、离散选择模型（Discrete Choice Model, DCM） 常见的DCM模型：二项Logit（Binary Logit）、多项Logit（Multi-nominal Logit）、广义Logit（Generalized Logit）、条件Logit（Conditional Logit）、层式Logit（Nested Logit）、有序Logit/Probit（Ordered Logit/Probit）、混合Logit（Mixed Logit）等 拟合离散选择模型的软件：SAS、NLOGI
模型的原始输出为什么叫 logits
二分掌柜的
03-08 1151
flyfish
logit回归模型_logistic回归
weixin_39610594的博客
11-20 1427
简单来说，逻辑回归就是来解决二分类(0或1)的问题的机器学习方法，用于评估事件发生或者不发生的可能性。比如你是否会购买这个西瓜，你是否患有某种疾病等等。逻辑回归与线性回归是什么关系呢？逻辑回归(Logistic Regression)与线性回归(Linear Regression)都是一种广义线性模型(generalized linear model)。逻辑回归假设因变量...
logit和logistic模型
热门推荐
u011773702的博客
10-31 1万+
关于logit和logistic模型的区别貌似是个老生常谈的问题，学习之后稍微整理一下： （1）二者的根本区别在于广义化线性模型中的联系函数的形式。         logit采用对数形式log(a)，logistic形式为log(a/1-a)。 （2）应用上，普通logistic的响应变量是二元的，多元logistic的因变量可为多元。logit的响应变量可以是多元的。 （3）统计软
Logistic模型回归
Gnipilnehc的博客
12-04 4122
逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行分类。其中每一组数据都是由p 个指标构成。Logistic回归是众多分类算法中的一员。通常，Logistic回归用于二分类问题，例如预测明天是否会下雨。当然它也可以用于多分类问题，不过为了简单起见，本文暂先讨论二分类问题。
logit回归模型假设_机器学习基础---逻辑回归（假设函数与线性回归不同）
weixin_32384723的博客
02-01 1910
一：分类(一)分类基础在分类问题中，你要预测的变量y是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。在分类问题中，我们尝试预测的是结果是否属于某一个类(例如正确或错误)。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。...
logit回归模型_你们要的二项Logit模型在这里——离散选择模型之八
weixin_39575565的博客
11-22 2286
前言：本文主要介绍如何以效用最大化理论为基础，推导出二项 Logit（Binary Logit）模型。本文为系列离散选择模型（Discrete Choice Model, DCM）系列文章的第8篇。温馨提示：阅读本文之前，请准备好纸、笔、以及小板凳。自己动手推导一遍有助于理解。Probit模型的建模过程回顾在《效用最大化准则：离散选择模型的核心（Probit篇）——离散选择模型之七》一文中，我们基...
logit回归模型_是或否，Logit模型详解以及论文实践
weixin_39620370的博客
11-23 3266
目录1．Logit和Probit的模型差别2．二分类Logistic回归模型3．多分类Logistic回归模型4．次序Logistic回归模型5．面板数据Logistic回归模型Logit回归(又称逻辑回归、罗杰斯蒂回归、Logistic回归)无疑是社会科学，尤其是社会学研究中使用最广的方法，没有之一。这也是因为社会科学中变量的类型所决定的。因变量的类型决定着回归模型的使用，对于社会科学...
[学习笔记]分类算法之logistic 回归模型
xiaopei的博客
06-01 1万+
from: http://www.hxxiaopei.com/?p=117 logistic regression是统计学习中经典的分类算法，属于对数线性模型。 回归模型： 给定一个数据集合(x1,y1)(x2,y2)...(xn,yn)，有监督学习构建模型，学习过程就是模型参数θ的学习过程。作为discrimination algorithm，对 P(Y|X;θ )建模，
15 回归算法 - Logistic回归 - Logit函数
weixin_34198762的博客
10-23 1311
=== Logit函数 === Odds：比值比（优势比），用来衡量特征中分类之间关联的一种方式。指的是该事件发生的概率与该事件不发生的概率的比值： p/1-p Logit函数，logit(p) = log(Odds) 我们假设：logit (p) 和 X 之间服从一个线性关系，因为当他们之间呈现线性关系的时候，可以帮助我们做分类。 为什么可以这样假设...
数据分析 | Logistic回归模型
Ouroboroszzs的博客
02-15 3563
Logistic回归模型的概述与python代码的实现
统计建模：Logistic回归模型（逻辑回归）
qq_43575159的博客
01-12 1372
Logistic回归（逻辑回归）：用量化特征预测某事发生的概率，取值范围是0到1，多用于二分类问题。 f=11+e−tf = \frac{1}{1 + e^{-t}}f=1+e−t1​ 输入t：样本特征中的线性函数 几率（Odds）：设某事件发生的概率为 P，则该事件的几率为该事件发生的概率与不发生的概率之比 Odds=P1−POdds∈[0，+∞)Odds = \frac{P}{1 - P...
多元logit离散选择模型
最新发布
03-24
<think>嗯，用户想了解多元logit离散选择模型的实现方法。首先，我需要回忆一下多元logit模型的基本概念。多元logit，也就是Multinomial Logit Model（MNL），属于离散选择模型的一种，用于处理因变量有多个无序类别的情况。用户可能是在做分类问题，比如交通方式选择、产品选择等场景。 接下来，根据用户提供的引用，特别是引用[2]和[4]，Logit模型和Probit模型的区别在于分布假设，Logit用逻辑分布，Probit用正态分布。但这里用户问的是多元Logit，所以重点应该在如何扩展到多个类别。 实现方法方面，引用[4]提到了随机参数Logit模型使用蒙特卡罗方法进行模拟，因为概率函数是非闭型的。不过，标准的MNL是否有闭式解呢？是的，通常MNL的参数估计可以通过最大似然估计（MLE）来求解，因为它的概率表达式是闭型的。而随机参数可能需要模拟，比如Mixed Logit模型。 用户可能也需要知道具体的步骤，比如模型设定、参数估计方法、软件实现等。需要分点说明，结构清晰。比如，首先模型公式，然后似然函数，接着参数估计方法，最后实现工具。 另外，用户提供的引用[1]提到离散选择模型在数据上的逼近性，可能涉及模型的选择依据。引用[3]提到的线性概率模型和Logistic回归的区别，但用户问的是多元Logit，所以可能不需要深入比较PLM，但可以简要提及。 需要确保使用正确的LaTeX格式，行内公式用$...$，独立公式用$$...$$。比如，概率公式P(Y_i=k)应该用行内还是独立？如果是关键公式，可能需要单独成段，用$$...$$。 可能的相关问题包括与其他模型的比较（如Probit）、参数估计的优化方法、应用案例等。根据示例中的结构，最后生成几个相关问题。 最后检查引用是否正确，比如引用[^4]是关于蒙特卡罗方法的，引用[^2]是Logit和Probit的选择依据。确保每个引用在回答中自然出现，比如在提到参数估计时引用蒙特卡罗方法的部分。</think>### 多元Logit离散选择模型实现方法 #### 1. 模型基本概念 多元Logit模型（Multinomial Logit Model, MNL）用于分析个体在多个离散选项中的选择行为。其核心假设是选项间的独立性（IIA假设），即任意两个选项的相对概率不受其他选项影响。选择概率公式为： $$P(Y_i = k | X_i) = \frac{e^{V_{ik}}}{\sum_{j=1}^K e^{V_{ij}}}$$ 其中$V_{ik} = \beta_k X_i$为第$k$个选项的效用函数，$X_i$为解释变量向量，$\beta_k$为待估参数[^1][^2]。 #### 2. 实现步骤 **(1) 模型设定** - **因变量**：包含$K$个无序类别（如交通方式选择：公交、地铁、自驾）。 - **自变量**：可包含连续变量（如收入）或分类变量（如性别）。 - **基准类别**：需指定一个基准类别（通常$k=0$），其他选项参数相对于基准进行估计。 **(2) 参数估计** 通过**最大似然估计（MLE）**求解： $$\mathcal{L} = \prod_{i=1}^N \prod_{k=1}^K \left( \frac{e^{\beta_k X_i}}{\sum_{j=1}^K e^{\beta_j X_i}} \right)^{y_{ik}}$$ 其中$y_{ik}=1$表示个体$i$选择选项$k$。对数似然函数为： $$\ln \mathcal{L} = \sum_{i=1}^N \sum_{k=1}^K y_{ik} \ln P(Y_i=k)$$ **(3) 优化方法** - **牛顿-拉夫森法**：利用二阶导数信息加速收敛。 - **随机梯度下降**：适用于大规模数据集。 - **蒙特卡罗模拟**：当模型扩展为**随机参数Logit**（Mixed Logit）时，需通过模拟抽样近似积分，例如： $$P(Y_i=k) = \int \frac{e^{\beta_k X_i}}{\sum_j e^{\beta_j X_i}} f(\beta|\theta) d\beta$$ 其中$f(\beta|\theta)$为参数分布假设（如正态分布）。 #### 3. 软件实现示例（Python） ```python import pandas as pd import statsmodels.api as sm # 数据准备（示例） data = pd.read_csv("choices.csv") X = data[['income', 'age', 'gender']] y = data['transport_mode'] # 模型拟合 mnl_model = sm.MNLogit(y, sm.add_constant(X)) result = mnl_model.fit() # 输出结果 print(result.summary()) ``` #### 4. 模型检验与改进 - **IIA假设检验**：使用Hausman检验验证选项独立性。 - **混合Logit模型**：通过引入随机参数处理异质性。 - **嵌套Logit模型**：放松IIA假设，将相关选项分组。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值