逻辑回归损失函数推导及其模型的推导

注：本篇文章求解思路、过程均为原创，本文出现的文字、公式等均为对照原计算手稿逐字手敲，绝无复制粘贴学术不端之举，转载请注明URL以及出处。

1.什么是逻辑回归？

$Logistic-Regression$是一种广义线性回归，与多重线性回归分析有很多相同之处。如它们的模型形式基本上相同，都具有 $w\ast x+b$。而多重线性回归直接将 $w\ast x+b$ 作为因变量，因此他们的因变量不同。

• 下文中所出现的 $w\ast x$ 均为内积形式。

2.逻辑回归损失函数推导及其模型的推导

• 下面我们就进行逻辑回归模型以及其损失函数的推导，全程简单粗暴，逐层递进，详略得当，干货满满!

逻辑回归损失函数的推导

Part 1：问题分析

$LR$ 为什么用$Sigmoid$ 函数？

假设有一个二分类问题，输出 $y${ 0，1 }，而线性模型的预测值 $y$ 为实数值，即找到一个阶跃函数将实数 $z$ 映射为 { 0，1 }，这样就能很好地处理分类问题。
由于$Sigmoid$ 函数具有如下很好的性质：
1）可将值域上的结果映射到$（0，1）$之间;
2）可将0.5作为决策边界；
3）数学特性好，容易求导.

所以利用了$Sigmoid$ 函数：

$g(z)$ = $\frac{1}{1+e^{-z}}$

因为$g(z)$最后输出的是样本类别的概率值，所以将阈值设为0.5，$g(z)>0.5$时，概率值为 1，$g(z)<0.5$时，概率值为 0.

Part 2：构造预测函数

为了使模型分类更准确，需要找到一个最优线性函数模型，并对每个 $x$ 找到最优参数，进而使这个最优线性函数模型的参数达到最优。即：

$w^T\ast x=w_{0}x+w_1{x}_1+...+w_n{x}_n={\sum }_{i=1}^N{w}_i{x}_i$，
$w\in R^n$,称为权值向量，
$N$为特征个数.

将其与$Sigmoid$ 函数结合构造$Logistic$ 回归预测函数:

$\pi (x)=g(w^{T}z)=\frac{1}{1+e^{-w^T\ast x}}$

• 注意：若最优线性函数模型为 $w\ast x+b$，$b\in R$ 为偏置，可将权值向量与输入向量加以扩充为$w=(w^{(1)},w^{(2)},...,w^{(n)},b{)}^T$