综述:
逻辑回归,可以说是一个非常经典的算法,使用范围十分广泛,金融、互联网等行业都能看到它的身影,只要涉及到二分类,基本都是首选。也许大家已经对逻辑回归已经十分了解,包括原理、求解等,所以这次主要从几何意义的方向去探讨逻辑回归算法,以加深对其了解。
正文:
先大致说一下模型的流程,特征x_n表示n个特征,y为0/1的label,特征x_n经过线性映射后得到z,再经过sigmoid函数得到label为1的“概率”,最后通过阈值来决定类别。本文分成三部分来叙述,分别为:一、线性部分,二、sigmoid函数,三、阈值的确定。
一、线性部分:
从模型的思想出发,希望找到一个超平面能够实现类别区分。(这里其实与svm相似,不同的是LR用到了全局的数据,而svm只用了有限个数的“支持向量”)
为方便显示,以一个二维特征的平面图表示,图中的线性组合wTx=0时,就是所说的超平面,假设能够完美进行切分。对于线性部分,公式如下: