作者:龙心尘 && 寒小阳
时间:2015年10月。
出处:http://blog.csdn.net/longxinchen_ml/article/details/49284391,
http://blog.csdn.net/han_xiaoyang/article/details/49332321。
声明:版权所有,转载请注明出处,谢谢。
一、 引言
前一篇文章《机器学习系列(1)_逻辑回归初步》中主要介绍了逻辑回归的由来,作用和简单的应用,这里追加这篇《机器学习系列(2)用初等数学视角解读逻辑回归》来看看从直观的数学视角,可以怎么去理解逻辑回归的思想思路。
为了降低理解难度,本文试图用最基础的初等数学来解读逻辑回归,少用公式,多用图形来直观解释推导公式的现实意义,希望使读者能够对逻辑回归有更直观的理解。
二、 逻辑回归问题的通俗几何描述
逻辑回归处理的是分类问题。我们可以用通俗的几何语言重新表述它:
空间中有两群点,一群是圆点“〇”,一群是叉点“X”。我们希望从空间中选出一个分离边界,将这两群点分开。
注:分离边界的维数与空间的维数相关。如果是二维平面,分离边界就是一条线(一维)。如果是三维空间,分离边界就是一个空间中的面(二维)。如果是一维直线,分离边界就是直线上的某一点。不同维数的空间的理解下文将有专门的论述。
为了简化处理和方便表述,我们做以下4个约定:
- 我们先考虑在二维平面下的情况。
- 而且,我们假设这两类是线性可分的:即可以找到一条最佳的直线,将两类点分开。
- 用离散变量y表示点的类别,y只有两个可能的取值。y=1表示是叉点“X”,y=0表示是是圆点“〇”。
- 点的横纵坐标用
表示。
于是,现在的问题就变成了:怎么依靠现有这些点的坐标和标签(y),找出分界线的方程。
三、 如何用解析几何的知识找到逻辑回归问题的分界线?
- 我们用逆推法的思路:
假设我们已经找到了这一条线,再寻找这条线的性质是什么。根据这些性质,再来反推这条线的方程。 - 这条线有什么性质呢?
首先,它能把两类点分开来。——好吧,这是废话。( ̄▽ ̄)”
然后,两类点在这条线的法向量p上的投影的值的正负号不一样,一类点的投影全是正数,另一类点的投影值全是负数!
- 首先,这个性质是非常好,可以用来区分点的不同的类别。
- 而且,我们对法向量进行规范:只考虑延长线通过原点的那个法向量p。这样的话,只要求出法向量p,就可以唯一确认这条分界线,这个分类问题就解决了。
- 还有什么方法能将法向量p的性质处理地更好呢?
因为计算各个点到法向量p投影,需要先知道p的起点的位置,而起点的位置确定起来很麻烦,我们就干脆将法向量平移使其起点落在坐标系的原点,成为新向量p’。因此,所有点到p’的投影也就变化了一个常量。
假设这个常量为