逻辑回归——机器学习（图解+理论+python实现）

目录

前言

一、Sigmoid函数（核心）

二、确定最佳回归系数

三、思路总结

四、用Python实现逻辑回归算法

前言

逻辑回归虽然带有回归两字，但实际上是做分类任务的，并且是一个经典的二分类算法。在我们选择使用机器学习算法的时候，通常呢，首先考虑的就是逻辑回归算法，再去考虑另外复杂的算法，也就是说我们能用简单的还是用简单的算法。在机器学习中，算法不是越复杂越好，而是要简单、高效、通俗易懂。

说这个算法经典是因为逻辑回归应用的比较广，而且原理简单、表现效果良好。所以现在很多大公司拿到分类任务之后，通常会做一个base model 也就是一个基础模型（比如想要建立一个复杂的系统，一开始不知道怎么办，先拿逻辑回归试一试看看能够达到什么效果，然后基于逻辑回归再做一些改进或者换一些其它算法，看下能不能比逻辑回归好，如果比逻辑回归好就用那个算法，如果是差不多的就不用费事了）。换句话说，在我们用机器学习算法建模的时候，首选的分类算法就是逻辑回归。

实际上，逻辑回归不单单是解决二分类，还能解决多分类（管它叫softmax，原理是一样的），并且逻辑回归的决策边界可以是非线性的。

 

一、Sigmoid函数（核心）

在逻辑回归这部分为什么要提到sigmoid函数？带着这个疑问继续看下面的你就知道了。

对于逻辑回归，我们想要的是：能接受所有的输入然后预测出类别。比如，在两个类别的情况下，这个分类器能够输出0或者1。具有这种性质的函数有的人可能接触过，比如阶跃函数，但是这个函数在跳跃点上是从0瞬间跳跃到1，儿这个瞬间跳跃的过程有时候很难处理。sigmoid函数呢，也有输出0或者1的这种性质，并且在数学上更好处理，sigmoid函数具体的公式为：，下图给出了这个函数直观的二维平面图像，可以看到在[-6,6]上曲线变化较为平滑。（公式里的 z 相当于是线性回归里的输入）

为了实现逻辑回归分类，我们可以在每个特征上都乘以一个回归系数（后面会说明如何找到最佳回归系数），然后把所有的结果值相加，将这个总和代入sigmoid