【机器学习算法】：逻辑回归

所谓回归和分类：在深度网络中，分类任务和回归任务的主要区别就在于：loss函数（其模型输出和标签的比较）和标签的区别，和其前边的特征特区部分没有任何关系。而传统的机器学习算法，可以认为没有太多之前的特征处理过程，所以在机器学习算法中回归和分类任务就是模型的输出（和所谓的loss是一样的）和标签的不同。

1.为什么叫逻辑回归

由于模型的构建思路来源于logistics分布，所以把这个回归模型取名为逻辑回归模型。

• logistics 分布
  

2.二项逻辑回归模型

二项逻辑回归模型是一种分类模型。

• 模型
  

  $P(Y = 1|x) = \frac{exp(w*x)}{1+exp(x*x)}$

• 为什么把逻辑回归模型称之为对数线性模型
  因为一个事件的几率是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是$\frac{p}{1-p}$，该事件的对数几率是$log\frac{p}{1-p}$。所以对于逻辑回归而言：其对数几率为：
  

  $log\frac{P(Y=1|x)}{1-P(Y=1|x)}=wx$
  所以输出Y=1的对数几率是输入x的线性函数，所以是对数线性模型。

• 逻辑回归模型实现的分类功能
  通过逻辑回归模型可以将线性函数wx转换为概率：

$P(Y = 1|x) = \frac{exp(w*x)}{1+exp(x*x)}$
此时，线性函数的值越接近正无穷，概率值就越接近1；
此时，线性函数的值越接近负无穷，概率值就越接近0；
这样的模型就是逻辑回归模型。

3.多项逻辑回归模型

多项逻辑回归模型，被用于多分类问题假设离散型随机变量Y的取值集合为{1，2，3，···，K}，那么多项式逻辑回归模型为：