matlab 回归 逻辑斯蒂_第五部分 逻辑斯蒂回归

前言：逻辑回归（LR）模型是一种非常简单常用的分类模型，其与线性回归模型非常相似，只是一种为分类模型一种为回归模型，现在我们来看看LR模型是什么样的吧！

1. 逻辑斯蒂分布

首先介绍一下什么是逻辑斯蒂分布：

其密度函数f(x)和分布函数F(x)如下图所示：

2. 二项逻辑斯蒂回归模型

二项LR模型可以用条件概率分布P(Y|X)来表示，LR回归模型如下所示：

Y为类别1或0，逻辑回归的模型其实可以看做线性回归模型带入到sigmoid函数中进行分类，可以看到结果在（0,1）这个值域内，可以用来表示概率。上述两个类别的概率进行对比，取概率较高的类别为输入实例的类别。

3. 模型的参数估计

用极大似然法来估计参数w：

接着，算法就变成对L（w）使用梯度下降法或拟牛顿法求解参数w。

4. 多项逻辑斯蒂回归

将二项逻辑斯蒂回归转化为多项逻辑斯蒂回归，进行多分类问题，如下：

5. 结语

今天回顾了逻辑回归算法，进一步加深了理解，该模型虽然简单，但是这次回顾让我不禁思考不同模型使用的范围应该各是什么，不然光学习算法原理并不实际使用那永远就相当于没学会！下一节，决策树！