Logistic回归

　　Logistic是用来分类的，是一种线性分类器，需要注意的地方有：

　　1. logistic函数表达式为：

　　

　　其导数形式为：

　　

　　2. logsitc回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为：

　　

　　到整个样本的后验概率：

　　

　　其中：

　　

　　通过对数进一步化简为：

　　

　　3. 其实它的loss function为-l(θ)，因此我们需使loss function最小，可采用梯度下降法得到。梯度下降法公式为:

　　

　　

　　Logistic回归优点：

　　1、实现简单；

　　2、分类时计算量非常小，速度很快，存储资源低；

　　缺点：

　　1、容易欠拟合，一般准确度不太高

　　2、只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；