Logistic 损失函数

最新推荐文章于 2023-02-11 21:15:32 发布

jinchuan_ljc

最新推荐文章于 2023-02-11 21:15:32 发布

阅读量1k

点赞数

分类专栏：机器学习文章标签： logistic

机器学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Logistic 损失函数

1.Logistic函数 & Logistic回归

Logistic函数的定义：

P (x) = 1 1 + exp ( - x ) (1)

$P(x)=\frac{1}{1+\exp(-x)} \tag{1}$
其中

x∈ℝ $x \in \mathbb{R}$ ，

P(x)∈ℝ $P(x) \in \mathbb{R}$ 。Logistic函数的一个重要的特点：

P (- x) = 1 - P (x) (2)

$P(-x)=1-P(x) \tag{2}$

Logistic函数常用语Logistic回归：

P (y = 1 ∣ β x) = exp ( β T x ) 1 + exp ( β T x )

$P(y=1\mid\boldsymbol{\beta}\boldsymbol{x})=\frac{\exp(\boldsymbol{\beta}^T\boldsymbol{x})}{1+\exp(\boldsymbol{\beta}^T\boldsymbol{x})}$

P (y = 0 ∣ β, x) = 1 1 + exp ( β T x ) (3)

$P(y=0\mid\boldsymbol{\beta},\boldsymbol{x})=\frac{1}{1+\exp(\boldsymbol{\beta}^T\boldsymbol{x})} \tag{3}$

其中 $x$ 是特征向量 $\beta$ 是系数向量。根据公式(2)，可以得到：

P (y = 1 ∣ β x) = 1 - P (y = 0 ∣ β, x) (4)

$P(y=1\mid\boldsymbol{\beta}\boldsymbol{x})=1-P(y=0\mid\boldsymbol{\beta},\boldsymbol{x}) \tag{4}$

在Logistics回归中，标签 $y\in\{0,1\}$ 。式子(3)用两个表达式来建模，也能够用一个表达式来建模：

P (g = \pm 1 ∣ β, x) = 1 1 + exp ( - g β T x ) (5)

$P(g=\pm1\mid\boldsymbol{\beta},\boldsymbol{x})=\frac{1}{1+\exp(-g\boldsymbol{\beta}^T\boldsymbol{x})}\tag{5}$
其中

g∈±1 $g\in{\pm1}$ 是样本点

x $x$ 的标签。很容易证明

P(g=1∣β,x)=1−P(g=−1∣β,x) $P(g=1\mid\boldsymbol{\beta},\boldsymbol{x})=1-P(g=-1\mid\boldsymbol{\beta},\boldsymbol{x})$

2. 两种Logistic回归形式的等价性

上述式(3)和(5)描述了Logistics回归的两种形式，这一节证明两中形式是等价的：

P (y = 1 ∣ β, x) = exp ( β T x ) 1 + exp ( β T x ) = 1 1 exp ( β T x ) + 1 = 1 exp ( - β T x ) + 1 = P (g = 1 ∣ β, x)

$\begin{align} P(y=1\mid\boldsymbol{\beta},\boldsymbol{x}) &=\frac{\exp(\boldsymbol{\beta}^T\boldsymbol{x})}{1+\exp(\boldsymbol{\beta}^T\boldsymbol{x})} \\ &=\frac{1}{\frac{1}{\exp(\boldsymbol{\beta}^T\boldsymbol{x})}+1} \\ &=\frac{1}{\exp(-\boldsymbol{\beta}^T\boldsymbol{x})+1} \\ &=P(g=1\mid\boldsymbol{\beta},\boldsymbol{x}) \end{align}$
从分类机制证明(3)，类标签为1的概率大于类标签为0的概率：

exp ( β T x ) 1 + exp ( β T x ) 1 1 + exp ( β T x ) exp (β T x) β T x > 1 \to y = 1 > 1 > 0

$\begin{align} \dfrac{\frac{\exp(\boldsymbol{\beta}^T\boldsymbol{x})}{1+\exp(\boldsymbol{\beta}^T\boldsymbol{x})}}{\frac{1}{1+\exp(\boldsymbol{\beta}^T\boldsymbol{x})}}&>1 \to y=1 \\ \exp(\boldsymbol{\beta}^T\boldsymbol{x})&>1 \\ \boldsymbol{\beta}^T\boldsymbol{x} &>0 \end{align}$
从分类机制证明(5)，类标签为1的概率大于类标签为-1的概率：

1 1 + exp ( - β T x ) 1 1 + exp ( β T x ) 1 + exp ( β T x ) 1 + exp ( - β T x ) exp (β T x) β T x > 1 \to g = 1 > 1 > 1 > 0

$\begin{align} \dfrac{\frac{1}{1+\exp(-\boldsymbol{\beta}^T\boldsymbol{x})}}{\frac{1}{1+\exp(\boldsymbol{\beta}^T\boldsymbol{x})}} &>1\to g=1 \\ \dfrac{1+\exp(\boldsymbol{\beta}^T\boldsymbol{x})}{1+\exp(-\boldsymbol{\beta}^T\boldsymbol{x})}&>1\\ \exp(\boldsymbol{\beta}^T\boldsymbol{x})&>1\\ \boldsymbol{\beta}^T\boldsymbol{x}&>0 \end{align}$