机器学习--逻辑回归

#前言

  本篇博客会对逻辑回归算法进行一个简单的介绍，主要包括原理的介绍和理论公式的推导，希望能够对大家有所帮助～

  逻辑回归算法虽然名字中带有回归二字，但是逻辑回归算法是一个经典的二分类算法。不同于深度学习算法，逻辑回归具有简单高效的特点，这也是为什么时至今日该算法依旧流行的原因，同时这也告诉我们一点，我们在实际解决问题的过程中，都是优先选取简单的算法来进行一个初步的尝试，建立对问题朴素的认识，再结合实际情况对算法进行修改，只有当简单算法无法有效解决问题时，我们才会选择一些比较复杂的算法去运用，要知道，算法模型的复杂度越高，过拟合的风险就越大，我们选择模型时，终极目的是正确高效适当的解决问题，而不是通过高难度的算法炫技。

  逻辑回归算法可以实现非线性的分类，例如下图所示的样子，当然这个图可能有点夸张，但是我希望大家可以依靠这幅图对其可以进行非线性的分类有一个直观深刻的认识

#Sigmoid函数

  逻辑回归是如何实现的？这里我们就得介绍一下Sigmoid函数了。首先先上函数表达式

下一副图片将展示Sigmoid函数的函数图像

  我们会发现，Sigmoid函数的自变量的取值范围是负无穷到正无穷，但是该函数巧妙的将任意的输入映射到了［0，1］区间。我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换，也就是分类任务。

#预测函数

  我们根据上述所提到的，对于线性回归预测的结果进行一个概率的投影，可以将预测函数进行如上的定义，其中是我们线性回归得到的目标，将其带入Sigmoid函数中进行投影。其中我们需要注意一个点就是 包括以下内容：

  由于我们逻辑回归算法解决的是一个经典二分类问题 ，所以经过逻辑回归算法后得到的无非就是正例和反例，即0或1，那么我们可以将其进行如下表达：

  在进行一步简单的整合合并得到如下表达式： 

  最终的处理过程与线性回归的处理过程是一摸一样的，主要包括似然函数，对数似然等一系列处理，这里我将对数似然进行一个展示： 

  这里我们会发现，我们现在需要求解的对数似然的最大值，现在很明显是求解梯度上升问题，而并不是一个梯度下降，为了处理和理解的方便，我们对对数似然进行一个符号变换，其实就是增添了一个符号，将问题转变为梯度下降问题，处理后的表达式如下： 

  之后我们再对上式进行求导操作，求出我们最终的目标函数如下： 

之后的步骤与线性回归也是一致的，这里将参数更新的过程进行展示： 

  以上就是对于逻辑回归的一个大体介绍，其中在最后的处理步骤上，有许多的处理思路是和线性回归是一致的，所以我在这里没有进行过度的赘述，如果有疑问可以移步我的另一个博客： 

CSDNhttps://mp.csdn.net/mp_blog/creation/editor/136659666  希望本篇博客对您有所帮助，我们下次再见👋拜拜～