Logistic Regression的理解

一：为什么要引入Logistic Regression？

从linear Regression说起，假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形式：

求解（具体求解方式不讲了）可以得到一个线性函数，这个线性函数可以拟合数据集。

当特征和结果不满足线性，数据集仅仅分散在0和1的周围的时候，线性函数可定不能拟合数据集了，这时候我们引用sigmod函数去拟合数据集。

linear Regression模型修改为：

所以：Linear Regression解决的是连续的预测和拟合问题，而Logistic Regression解决的是离散的分类问题。两种方式，但本质殊途同归，两者都可以算是指数函数族的特例。

二Logistic Regression参数的求解

Logistic Regression采用梯度下降法对进行求解。

为了防止过拟合加入L1正则项。其损失函数变为：

三softmax Logistic Regression

对于多分类的问题，引入了softmax Logistic Regression

softmax Logistic Regression 模型为：

　

　　其中的参数sidta不再是列向量，而是一个矩阵，矩阵的每一行可以看做是一个类别所对应分类器的参数，总共有k行。所以矩阵sidta可以写成下面的形式：

 　　

　此时，系统损失函数的方程为：

 　　

　　其中的1{.}是一个指示性函数，即当大括号中的值为真时，该函数的结果就为1，否则其结果就为0。

Softmax 为了防止过拟合，加入L2范数作为正则项

　　这个时候的偏导函数表达式如下所示：