在一元线性回归模型一文中提到过很多机器学习模型都是在线性回归模型的基础上创建的,本篇文章就简单的描述一下如何将线性回归应用到分类问题中——即逻辑回归。
逻辑回归的基本概念
线性回归针对的是连续型的数据类型,对于二分类(取值为0或1)问题当然不适用。数学推导中最常用的思想就是将未知问题转化为已知的问题来求解。现在我们的问题是如何对数据集进行分类,很自然的就会想到将其与线性回归模型联系起来。简单的数据预处理一文中提到通过归一化可以将连续值映射到[0,1]这个区间中,这样我们就可以通过阶跃函数来实现分类,阶跃函数如下:
y = { 0 , z < 0 0.5 , z = 0 1 , z > 0 (1) y = \begin{cases} 0, & \text{z < 0} \\ 0.5, & \text{z = 0} \\ \tag{1} 1, & \text{z > 0} \end{cases} y=⎩⎪⎨⎪