逻辑回归及其分析

分类概念

什么是分类，分类是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。这时，输入变量X可以是离散的，也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数，称为分类器(classifier)。分类器对新的输入进行输出的预测(prediction)，称为分类(classification)。（引自《统计学习方法》李航著）
分类问题的举例：
1. 邮件：垃圾邮件/非垃圾邮件
2. 打卡情况：已打卡/未打卡
3. 学生身份：本科生/研究生/博士生
其中1、2的问题可以称之为二分类问题，3为多分类问题。
二分类问题可以用如下形式表示：

其中0称之为负例，1称之为正例。
而对于多分类问题，可以有如下定义：

$$y \in \{0,1,2,...,n\}$$

逻辑回归主要就是用于解决分类问题。

逻辑回归与多重线性线性回归有许多相同之处，其最大的不同的就在于因变量不同。因此，逻辑回归虽属于分类器，但也归类到回归分析中。
- 如果是连续的，就是多重线性回归；
- 如果是二项分布，就是Logistic回归；

逻辑回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最常用的就是二分类的逻辑回归。

逻辑回归处理

逻辑回归的三个步骤/要处理的函数：
1. Hypothesis Representation;
2. Cost function;
3. Minimize cost function.

1.预测函数

线性回归无法将输出结果界定在0~1之间，因此逻辑回归预测函数的构造主要利用了Logistic函数（或称为Sigmoid函数），其形式为：

其在在坐标轴上的表示为：

由

我们得到逻辑回归的数学表达式为：

其中$\theta$是参数。

Hypothesis输出的直观解释：$h_\theta(x)$ = 对于给定的输入x，y=1时估计的概率。

数学表示为：