手推模型之逻辑回归

关于逻辑回归的文章有很多，但是关于前因后果逻辑和公式的推导的文章要不就是不全，要不就是错误连篇。所以在自己理清好它的清晰逻辑后，打算写出来，一是加深印象，二是供后来者参考学习。

 

我们都知道逻辑回归的本质是以回归的方法去解决分类问题，它是基于线性回归的。所以理解逻辑回归的前提，你要对多元线性回归有一个清晰的认识。

说到线性回归，它的模型输出是连续的，可以笼统上认为是实数集，即 负无穷到正无穷，那怎么由它转到分类问题呢？

一个自然而然的想法是加阈值，比如设阈值为0 ，那么大于0的为一类，小于0的为一类。第一眼看起来，貌似可以这么做。

吴恩达的机器学习课程里有一个根据肿瘤大小预测良性还是恶性的例子，就是来说明线性回归加阈值这种方法的缺陷。当出现极端值或异常值时，拟合的直线很容易跑偏，这样之前设置的阈值往往会失效，所以想到用一个非线性映射，就之前线性回归的输出作为该映射的输入，这里选择sigmoid函数，它将  负无穷到正无穷 映射到 [0,1] 它有很好的数学特性，1是体现在函数形状上，2是求导很方便。

下面直接把手推过程，贴图（字体扭曲，见谅）：