逻辑回归算法梳理

---

1、逻辑回归与线性回归的联系与区别

1）线性回归要求变量服从正态分布，logistic回归对变量分布没有要求。
2）线性回归要求因变量是连续性数值变量，而logistic回归要求因变量是分类型变量。
3）线性回归要求自变量和因变量呈线性关系，而logistic回归不要求自变量和因变量呈线性关系
4）logistic回归是分析因变量取某个值的概率与自变量的关系，而线性回归是直接分析因变量与自变量的关系
总之,
logistic回归与线性回归实际上有很多相同之处，最大的区别就在于他们的因变量不同，其他的基本都差不多，正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalized linear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同，如果是连续的，就是多重线性回归，如果是二项分布，就是logistic回归。logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最为常用的就是二分类的logistic回归。

---

2、 逻辑回归的原理

线性回归的结果做一个在函数g上的转换，可以变化为逻辑回归。这个函数g在逻辑回归中我们一般取为sigmoid函数，形式如下：

它有一个非常好的性质，即当z趋于正无穷时，g(z)g(z)趋于1，而当z趋于负无穷时，g(z)g(z)趋于0，这非常适合于我们的分类概率模型。另外，它还有一个很好的导数性质：

这个通过函数对g(z)g(z)求导很容易得到，后面我们会用到这个式子。
如果我们令g(z)g(z)中的z为：z=xθz=xθ，这样就得到了二元逻辑回归模型的一般形式：

其中x为样本输入，hθ(x)hθ(x)为模型输出，可以理解为某一分类的概率大小。而θ为分类模型的要求出的模型参数。对于模型输出h_θ(x)，我们让它和我们的二元样本输出y（假设为0和1）有这样的对应关系，如果h_θ(x)>0.5 ，即x_θ>0, 则y为1。如果h_θ(x)<0.5h_θ(x)<0.5，即x_θ<0, 则y为0。y=0.5是临界情况，此时x_θ=0为， 从逻辑回归模型本身无法确定分类。
h_θ(x)的值越小，而分类为0的的概率越高，反之，值越大的话分类为1的的概率越高。如果靠近临界点，则分类准确率会下降。
此处我们也可以将模型写成矩阵模式：

其中h_θ(X)为模型输出，为 mx1的维度。X为样本特征矩阵，为mxn的维度。θ为分类的模型系数，为nx1的向量。

---

3、逻辑回归损失函数推导及优化

• 损失函数的推导:
  由于线性回归是连续的，所以可以使用模型误差的的平方和来定义损失函数。但是逻辑回归不是连续的，自然线性