本文介绍了逻辑回归的基本概念，对比了逻辑回归与线性回归的区别。通过Sigmoid函数及其推导，解释了逻辑回归如何进行二分类。接着详细探讨了梯度上升法，包括梯度的概念、梯度上升的迭代公式，以及如何应用于逻辑回归模型的训练。最后，展示了算法在数据集上的应用，包括数据加载、训练过程和决策边界的绘制，证明了模型的分类效果。
一、算法概述
逻辑回归(Logistic)虽带有回归二字，但它却是一个经典的二分类算法，它适合处理一些二分类任务，例如疾病检测、垃圾邮件检测、用户点击率以及上文所涉及的正负情感分析等等。
首先了解一下何为回归？假设现在有一些数据点，我们利用一条直线对这些点进行拟合(该线称为最佳拟合直线)，这个拟合的过程就称作回归。利用逻辑回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。
线性回归算法后面的笔记会介绍，这里简单对比一下两者，逻辑回归和线性回归的本质相同，都意在拟合一条直线，但线性回归的目的是拟合输入变量的分布，尽可能让所有样本到该条直线的距离最短；而逻辑回归的目的是拟合决策边界，使数据集中不同的样本尽可能分开，所以两个算法的目的是不同的，处理的问题也不同。
二、Sigmoid函数与相关推导
我们想要的函数应该是，能接受所有的输入并且预测出类别，比如二分类中的0或者1、正或者负，这种性质的函数被称为海维赛德阶跃函数，图像如下：
但这种函数的问题在于从0跳跃到1的过程非常难处理，比如我们常接触的多次函数，可能在某种条件下需要求导解决问题；而Sigmoid函数也具有类似的性质，并且在数学上更容易处理，其公式如下：
下图是Sigmoid函数在不同坐标尺度下的两条曲线图。当x为0时，Sigmoid函数值为0.5，随着x的增大，对应的Sigmoid值将逼近于1；而随着x的减小，Sigmoid值将逼近于0。如果横坐标刻度足够大，Sigmoid函数看起来就很像一个阶跃函数。
若我们将Sigmoid函数的输入记作z，可推出下面公式：
它表示将这两个数值向量对应元素相乘然后全部相加起来得到z值，其中向量x是分类器的输入数据，向量w就是我们要找到的能使分类器尽可能准确的最佳参数。
由上述公式就可得：
其中$h_w(x)$的作用就是给定输入时，输出分类为正向类(1)的可能性。例如，对于一个给定的x，$h_w(x)$的值为0.8，则说明有80%的可能输出为正向类(1)，有20%的可能输出为负向类(0)，二者成补集关系。
对于一个二分类问题而言，我们给定输入，函数最终的输出只能有两类，0或者1，所以我们可以对其分类。
为了运算便捷，我们将其整合为一个公式，如下：
由于乘法计算量过大，所以可以将乘法变加法，对上式求对数，如下：
可以看出当y=1时，加号后面式子的值为0；当y=0时，加号前面式子的值为0，这与上文分类式子达到的效果是一样的。L(w)称为似然函
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
