分类概念
什么是分类,分类是监督学习的一个核心问题,在监督学习中,当输出变量Y取有限个离散值时,预测问题便成为分类问题。这时,输入变量X可以是离散的,也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数,称为分类器(classifier)。分类器对新的输入进行输出的预测(prediction),称为分类(classification)。(引自《统计学习方法》李航著)
分类问题的举例:
1. 邮件:垃圾邮件/非垃圾邮件
2. 打卡情况:已打卡/未打卡
3. 学生身份:本科生/研究生/博士生
其中1、2的问题可以称之为二分类问题,3为多分类问题。
二分类问题可以用如下形式表示:
其中0称之为负例,1称之为正例。
而对于多分类问题,可以有如下定义:
逻辑回归主要就是用于解决分类问题。
逻辑回归与多重线性线性回归有许多相同之处,其最大的不同的就在于因变量不同。因此,逻辑回归虽属于分类器,但也归类到回归分析中。
- 如果是连续的,就是多重线性回归;
- 如果是二项分布,就是Logistic回归;
逻辑回归的因变量可以是二分类的,也可以是多分类的,但是二分类的更为常用,也更加容易解释。所以实际中最常用的就是二分类的逻辑回归。
逻辑回归处理
逻辑回归的三个步骤/要处理的函数:
1. Hypothesis Representation;
2. Cost function;
3. Minimize cost function.
1.预测函数
线性回归无法将输出结果界定在0~1之间,因此逻辑回归预测函数的构造主要利用了Logistic函数(或称为Sigmoid函数),其形式为:
其在在坐标轴上的表示为:
由
我们得到逻辑回归的数学表达式为:
其中 θ 是参数。
Hypothesis输出的直观解释: hθ(x) = 对于给定的输入x,y=1时估计的概率。
数学表示为: