逻辑斯谛回归(Logistic regression)—《统计学习方法》

逻辑斯谛回归(Logistic regression)是统计学习领域的一个经典分类方法,学习李航教授的《统计学习方法》将笔记和一些感悟记录下来;
1 逻辑斯谛分布(logistic distribution)

  为一个连续型的随机变量,分布函数F和密度函数f满足下列条件的分布为逻辑斯谛分布:


这里写图片描述

  F(值域0到1)与f的图像:


这里写图片描述

F为中心对称图形并且在中心点附近图像很陡;

2 二项逻辑斯谛分布回归模型

  对于P(Y|X),当随机变量Y的取值只有2个值(Y=0或1)的时候,P(Y|X)是二项逻辑斯谛分布的模型表示,是一种条件概率模型,也是一种分类模型;
  具体地,二项逻辑斯谛分布的条件概率分布满足如下性质:


这里写图片描述


这里写图片描述


这里写图片描述

下面将推导一些逻辑斯谛回归的性质:
  补充概念:几率(odd):对于一个事件,几率是指事件发生的概率/不发生的概率;其中对数几率就是在这个计算出来的几率值上加一个Log函数;


这里写图片描述

  这里将p换成逻辑斯谛回归的P(Y=1|X=0)带入计算得到:


这里写图片描述

  从上面的推导结果可以看出,对于二项逻辑斯谛回归而言,事件结果Y=1的对数几率是关于输入X的线性函数!所以逻辑斯谛模型也是一个输出为Y=1时的对数几率是关于输入X的线性函数的模型;
  再次观察Y=1时逻辑斯谛回归模型的条件概率分布函数:


这里写图片描述

  其中wx则是一个对输入x进行分类的线性函数,wx的值域为负无穷到正无穷,发现当线性函数的值越接近正无穷时Y=1的概率越接近1,反之越接近0;

3 逻辑斯谛分布模型参数估计

  逻辑斯谛回归模型作为一个回归问题,本质上是一个有监督学习过程,参数集w是根据已有的训练集建立极大似然估计函数L(w),通过L(w)求w的估计值;
  似然函数:


这里写图片描述

  两边取对数L(w):


这里写图片描述

  逻辑斯谛常用的处理目标函数的方法是梯度下降和拟牛顿法,会在后面的博客里单独介绍;
  4 多项逻辑斯谛回归
  所谓多项逻辑斯谛回归模型是指随机变量Y的取值从之前2项拓展成了K项,Y的取值集合={1,2,3,4,5,…,K},可用于多分类问题;
  它的条件概率分布函数:


这里写图片描述

  二项中的参数求解方法在多项中同样可以推广运用;

### 回答1: 逻辑斯谛回归logistic regression)是一种用于分类问题的统计学方法,属于监督学习的一种。它的基本思想是通过建立模型去学习不同特征之间的关系,然后使用这个模型去对未知数据进行分类。逻辑斯谛回归是一种线性模型,可用于进行二分类或多分类问题。在统计学习方面,逻辑斯谛回归是一种经典的机器学习方法。 ### 回答2: 逻辑斯谛回归是一种用于二分类问题的机器学习算法。其基本思想是将输入变量与一个sigmoid函数相乘,从而得到该分类的概率值。这个sigmoid函数将实数映射到[0,1]区间内,当概率趋近于0时,函数取到0,概率趋近于1时,函数取到1,当输入为0时,函数取到0.5。这个函数的形式为: $$\sigma(z)=\frac{1}{1+e^{-z}}=\frac{e^z}{1+e^z}$$ 其z为线性回归模型的输出。逻辑斯谛回归通过最大似然估计来确定模型参数,目标是最大化似然函数。似然函数的形式为: $$L(w)=\prod_{i=1}^N[y_iP(y_i=1|x_i,w)+(1-y_i)P(y_i=0|x_i,w)]$$ 其N为样本数,$y_i\in\{0,1\}$为样本i的类别,$y_i=1$表示正例,$y_i=0$表示反例。$P(y_i=1|x_i,w)$和$P(y_i=0|x_i,w)$分别表示当输入变量为$x_i$时,样本i的正例概率和反例概率。使用log函数对似然函数取负对数,然后对参数w求偏导,得到的结果为: $$\nabla L(w)=\sum_{i=1}^N[y_i-\sigma(w^Tx_i)]x_i$$ 使用梯度下降法来更新参数,得到迭代更新公式为: $$w^{(t+1)}=w^{(t)}+\eta\nabla L(w^{(t)})$$ 其$\eta$为学习率,$w^{(t)}$表示t时刻的参数值。 逻辑斯谛回归可以扩展到多分类问题,称为softmax回归,也可以应用于不同的领域,例如医学诊断、金融风险评估等。 ### 回答3: 逻辑斯谛回归Logistic Regression)是一种用于处理二分类问题的统计机器学习算法,其思想来源于逻辑学。在《统计学方法》一书逻辑斯谛回归是目标函数为对数似然函数,利用梯度下降法或牛顿法估计参数的一类判别模型。 逻辑斯谛回归的模型可以表示为$$h_{\boldsymbol{w}}(\boldsymbol{x})=\sigma(\boldsymbol{w}^{\rm T} \boldsymbol{x})$$其,$h_{\boldsymbol{w}}(\boldsymbol{x})\in [0,1]$ 表示 $\boldsymbol{x}$ 属于正类的概率,$\sigma(z)=\dfrac{1}{1+\mathrm{e}^{-z}}$ 是 sigmoid 函数。逻辑斯谛回归的目标函数是对数似然函数$$L(\boldsymbol{w})=\sum_{i=1}^{N}[y_i \log h_{\boldsymbol{w}}(\boldsymbol{x_i})+(1-y_i)\log(1-h_{\boldsymbol{w}}(\boldsymbol{x_i}))]$$其,$N$ 是样本数量,$y_i\in\{0,1\}$ 是样本 $\boldsymbol{x_i}$ 的真实标记。对数似然函数一般通过梯度下降法或牛顿法来求得最优参数 $\boldsymbol{w}$。梯度下降法的更新公式是$$\boldsymbol{w} \leftarrow \boldsymbol{w}+\alpha \sum_{i=1}^{N}(y_i-h_{\boldsymbol{w}}(\boldsymbol{x_i}))\boldsymbol{x_i}$$其,$\alpha$ 是学习率,$\boldsymbol{w}$ 初始化为 0 或其它随机值,重复进行上述更新直到收敛。牛顿法是一种二阶优化方法,其参数更新公式是$$\boldsymbol{w} \leftarrow \boldsymbol{w}-\boldsymbol{H}^{-1}\nabla_{\boldsymbol{w}}L(\boldsymbol{w})$$其,$\boldsymbol{H}$ 是 Hessian 矩阵。牛顿法比梯度下降法收敛速度更快,但计算量更大。 逻辑斯谛回归的优点是模型参数较少,计算速度较快,且可以得到样本属于正类的概率。缺点是对异常值比较敏感,对特征之间的相关性比较敏感,容易出现过拟合。在实际应用,可以通过添加正则化项或使用 L1、L2 正则化等方式来避免过拟合。 总之,逻辑斯谛回归是一种用于处理二分类问题的有效算法,可以应用于回归和分类问题。它的思想简单,实现容易,是初学者入门的理想算法之一。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值