DW 逻辑回归

逻辑斯谛回归(LR)是经典的分类方法

由逻辑斯谛分布（分布函数是S型曲线）---->二项逻辑斯谛回归模型---->多项逻辑斯谛回归模型

逻辑斯谛回归模型源自逻辑斯谛分布，其分布函数$F(x)$是$S$形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。

我们把发生概率/不发生概率称之为一个事件的几率，对其取对数为对数几率，将将二项的逻辑斯谛回归的条件概率形式代入，得到对数几率是由输入的x的线性函数的模型；利用极大似然估计法估计模型参数w，从而得到逻辑斯谛回归模型。

逻辑斯谛回归模型是由以下条件概率分布表示的分类模型，形式为参数化的逻辑斯谛分布。逻辑斯谛回归模型可以用于二类或多类分类。这是推广的多项逻辑斯谛回归模型：

$$P(Y=k|x)=\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)},k=1,2,\cdots ,K-1$$

$$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)}$$
这里，$x$为输入特征，$w$为特征的权值（包含权重和偏置，x向量中x_0 为1）。

1、逻辑回归的原理

理想的替代函数应当预测分类为0或1的概率，当为1的概率大于0.5时，判断为1，当为1的概率小于0.5时，判断为0。因概率的值域为$[0,1]$，这样的设定比线性回归合理很多。

sigmoid函数曲线与阶跃函数曲线很相似，而且sigmoid函数求导方便。z>0, sigmoid(z)>0.5, z<0 sigmoid(z)<0.5，其本身具有分类属性，函数在0到1之间。
sigmoid函数连续可以借用方程θX表示z, 假设θX>0,y=1, θX<0,y=0完成分类。这样就把未知的分类问题转换成了已经熟悉的线性回归问题，易于理解。

Sigmoid函数：
$$h(z)=\frac{1}{1+e^{-z}}$$
其中，$z={\theta }^{T}x$

我们可以采用以下“单位阶跃函数”来判断数据的类别：
h ( z ) = { 0 ， z < 0 0.5