logistic回归

概述

明明叫做回归，却被用在了分类问题上。logistic方法主要应用于研究某些事件发生的概率。
logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释，多类可以使用softmax方法进行处理。实际中最为常用的就是二分类的logistic回归。

原理

线性回归模型产生的预测值为z=wx+b是一个连续值，如果我们要将它应用于一个而分类问题，需要进行转化，比如说采用如下函数。

但是上述函数既不连续，也不可微。我们换一个好了，也就是我们经常用到的sigmoid函数。

我们将sigmoid函数的输出作为属于一个类别的概率
同样，我们要规定一个代价函数，然后按照梯度下降最快的方向优化我们的系数w。

多元逻辑回归

对于多分类问题，算法将会训练出一个多元逻辑回归模型， 它包含K-1个二元回归模型。给定一个数据点，K-1个模型都会运行，概率最大的类别将会被选为预测类别。

实例

from sklearn.linear_model import LogisticRegression
Model = LogisticRegression()
Model.fit(X_train, y_train)
Model.score(X_train,y_train)
# Equation coefficient and Intercept
Print(‘Coefficient’,model.coef_)
Print(‘Intercept’,model.intercept_)
# Predict Output
Predicted = Model.predict(x_test)

优点

计算代价低，速度快，容易理解和实现。

缺点

容易欠拟合，分类和回归的精度不高