机器学习系列(2)_用初等数学解读逻辑回归

作者：龙心尘 && 寒小阳
时间：2015年10月。
出处：
http://blog.csdn.net/longxinchen_ml/article/details/49284391。
http://blog.csdn.net/han_xiaoyang/article/details/49332321。
声明：版权所有，转载请注明出处，谢谢。

一、 引言

前一篇文章《机器学习系列(1)_逻辑回归初步》发表后意犹未尽，感觉关于逻辑回归的很多神奇特性还没来得及深入展开，于是我们新加了这篇《机器学习系列(2)__用初等数学视角解读逻辑回归》。

为了降低理解难度，本文试图用最基础的初等数学来解读逻辑回归，少用公式，多用图形来直观解释推导公式的现实意义，希望使读者能够对逻辑回归有更直观的理解。

二、 逻辑回归问题的通俗几何描述

逻辑回归处理的是分类问题。我们可以用通俗的几何语言重新表述它：
空间中有两群点，一群是圆点“〇”，一群是叉点“X”。我们希望从空间中选出一个分离边界，将这两群点分开。

注：分离边界的维数与空间的维数相关。如果是二维平面，分离边界就是一条线（一维）。如果是三维空间，分离边界就是一个空间中的面（二维）。如果是一维直线，分离边界就是直线上的某一点。不同维数的空间的理解下文将有专门的论述。

为了简化处理和方便表述，我们做以下4个约定：

1. 我们先考虑在二维平面下的情况。

2. 而且，我们假设这两类是线性可分的：即可以找到一条最佳的直线，将两类点分开。
3. 用离散变量y表示点的类别，y只有两个可能的取值。y=1表示是叉点“X”，y=0表示是是圆点“〇”。
4. 点的横纵坐标用表示。

于是，现在的问题就变成了：怎么依靠现有这些点的坐标和标签（y），找出分界线的方程。

三、 如何用解析几何的知识找到逻辑回归问题的分界线？

1. 我们用逆推法的思路：
   假设我们已经找到了这一条线，再寻找这条线的性质是什么。根据这些性质，再来反推这条线的方程。
2. 这条线有什么性质呢？
   首先，它能把两类点分开来。——好吧，这是废话。(￣▽￣)”
   然后，两类点在这条线的法向量p上的投影的值的正负号不一样，一类点的投影全是正数，另一类点的投影值全是负数！

• 首先，这个性质是非常好，可以用来区分点的不同的类别。
• 而且，我们对法向量进行规范:只考虑延长线通过原点的那个法向量p。这样的话，只要求出法向量p，就可以唯一确认这条分界线，这个分类问题就解决了。
  
  

3. 还有什么方法能将法向量p的性质处理地更好呢？
   因为计算各个点到法向量p投影，需要先知道p的起点的位置，而起点的位置确定起来很麻烦，我们就干脆将法向量平移使其起点落在坐标系的原点，成为新向量p’。因此，所有点到p’的投影也就变化了一个常量。
   
   
   假设这个常量为，p’向量的横纵坐标为。空间中任何一个点