Logistic Regression

解决分类问题，需要输出离散型变量，而线性回归模型是连续型变量，因此，将线性回归模型的结果离散化，便可以得到解决分类问题的逻辑回归模型：

其函数图像如图所示

横坐标为线性回归模型的因变量，纵坐标表示实例被划分为正向类的概率。

与线性回归模型类似，求出模型中的θ矩阵需要建立代价函数，并在代价函数取得最小值时模型较为合适，逻辑回归的代价函数为

其矩阵表示式为：

对逻辑回归模型的代价函数的求最值，由于其因变量是离散而非连续型的，故最小二乘法不适用，可用泛用性较广的梯度下降法求θ参数矩阵。

对代价函数求对θ的偏导数并化简：

进而求得θ得迭代公式为：

正则化的逻辑回归模型与线性回归模型相似，即在代价函数后加上相应的正则化项

Lasso回归：

Ridge回归：

求解方法与线性回归相同。

上面所述均为二元逻辑回归，对于K类逻辑回归，将其中1类定为正向类，其余K-1类为负向类，并以此建立相应的分类器。一共建立K个分类器，将概率最大的类作为某实例的类。