机器篇——逻辑回归(Logistic Regression)

返回目录

上一章： 机器篇——线性回归 

下一章：机器篇——决策树(一)

细讲了线性回归的推导和代码，图文结合，本章再接再厉，来讲解逻辑回归。大佬来了，请多多指教。

 

 

 

逻辑回归的理解

一. 回归与分类

          1. 关于回归，给人直观的理解就是拟合

                   

          2. 对于二类线性可分的数据集，使用线性感知器就可以很好的分类

          3. 但如果二类线性不可分的数据，无法找到一条直线能够将两种类别很好地区分，即线性回归的分类对于线性不可分的数据无法有效分类。

          4. 诚然，数据线性可分可以使用线性分类器；如果数据线性不可分，可以使用非线性分类器。这里，似乎没逻辑回归什么事情。但是，如果想知道对于一个二分类问题，其具体的一个样例：不仅想知道该分类属于某一类，而且还想知道该类属于某一类的概率有多大。

            

          5.  线性回归和非线性回归的问题都不能给予解答，假设其分类函数如下：

                           

          6. 因为概率的范围在 [0, 1] 之间，这就需要一个更好的映射函数，能够将分类的结果很好的映射成 [0, 1] 之间的概率，并且这个函数能够具有很好的可微分性。在这种需求下，大佬找到了这个映射函数，即 Sigmoid 函数。其形式如下：

                      

                

          7. Sigmoid & Logistic Regression

             (1). 在学习 Logistic Regression 的时候，会出现一个重要的问题：

                     为什么 LR (Logistic Regression) 会使用 Sigmoid 函数，而不是其他的函数？

             (2). 其实，上述的问题本身就是不对的。因为是使用了 Logistic Function (Sigmoid) ，所以才有了 Logistic Regression 这个名字。即：正是因为 Sigmoid 才有了 LR，而不是 LR 选择了 Sigmoid 函数。

          8. 由于 LR 是使用回归函数做分类，而假设的回归函数为：， 由于 Sigmoid 函数为 。所以， 是关于  的函数，即：

                   

                  

二. Sigmoid 的性质与目标函数

          1. Sigmoid 函数的导数：

              推导过程：

                       

                                        

                                        

                                        

                                        

          2. Sigmoid 函数的概率

              因为 Sigmoid 函数的概率值在 [0, 1] 之间，即：

                      

              所以对于每一条数据预测正确的概率：

                     

          3. 全部预测正确的概率

               由于 Sigmoid 函数服从正太分布，而且：

                   全部预测正确的概率 = 每一条数据预测正确的概率相乘

                   

          4. LR 的目标函数

              记  为 ， 与  等价。

              由