什么是对数几率回归
logistic regression:中文有多种译法,例如:逻辑回归(比较常见),对数几率回归(周志华)。
对数几率回归是一种常用的分类算法,例如二分类,多分类等。
如何进行对数几率回归
对于二分类,结果只有y=0|1两种,可以使用阶跃函数来描述其输出:
h(x)=1 p>0.5
h(x)=0 p<0.5
由于这个函数不连续,所以通常使用某个连续函数使得h(x)的结果位于0-1之间,而我们通常选用的就
是sigmoid函数,也叫logistic函数。
上图就是sigmoid函数的曲线,对于线性回归函数进行sigmoid变换即可得逻辑回归函数,此时离散的问题化为连续的线性回归。
为什么进行对数几率回归
对数几率回归因为比较简单常用于文本分类,癌症检测等学习问题上,通过sigmoid变换后的结果是连
续的,因而可以得到相应的概率值。