机器学习算法梳理：：逻辑回归（Logistic）

【学习任务】

 

1.Logistic回归损失函数的极大似然推导：西瓜书公式3.27怎么推来的？

2.Logistic回归损失函数的最优化算法：什么是牛顿法、拟牛顿法？

3.为什么不用线性回归做分类？

4.Logistic回归为什么不像线性回归那样用平方损失函数？

5.Logistic回归的参数为什么不像线性回归那样直接公式求解？

6.Logistic回归与线性回归有哪些联系？

 

首先认识到底什么是logistic回归（概念来源百度百科）？     

         logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 w'x+b（w'表示w的转置），其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w'x+b作为因变量，即y =w'x+b，而logistic回归则通过函数L将w'x+b对应一个隐状态p，p =L(w'x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。 

          logistic回归的因变量可以是二分类的，也可以是多分类的，但是二