机器学习笔记（7）-------logistic回归

logistic回归

logistic回归 虽然名字中带有“回归”二字，但其主要是用来处理分类问题的。对于分类问题的处理，如果仍然使用线性回归进行处理，效果则会不够理想。我们将因变量设为 

​​,其可能属于的两个类称为正向类和负向类。其中 0 表示负向类， 1 表示正向类。

                        

​

我们进行分类的结果应该是 y=1或者y=0。上面使用线性回归则出现：                                     

                                           

​

假设函数

​得到的值 可能远大于1或者远小于0。尽管我们知道标签应该取值 0 或者 1，但是如果算法得到的值远大于 1 或者远小于 0 的话，就会感觉很奇怪。所以接下来要说的算法就叫做逻辑回归算法， 这个算法的性质是：它的输出值永远在 0 到 1 之间。

假说表示

首先确定假设函数，logistic回归即要求我们找到这样一个函数，它的预测输出值介于0~1。再拿肿瘤的例子。                            

                                             

​

这时候再用0.5作为阀值来预测肿瘤是良性还是恶性便不合适了。线性回归模型，因为其预测的值可以超越[0,1]的范围，并不适合解决这样的问题。因此，可以引入一个新的模型，逻辑回归，该模型的输出变量范围始终在 0 和 1 之间。逻辑回归模型的假设是： 

接：http://note.youdao.com/noteshare?id=0f5fdc887adcbc1dc4201384893f7ebc