pytorch--Logistic回归

逻辑回归（Logistic Regression）

1 概念

逻辑回归虽然名字叫做回归，但实际上却是一种分类学习方法。
线性回归完成的是回归拟合任务，而对于分类任务，我们同样需要一条线，但不是去拟合每个数据点，而是把不同类别的样本区分开来。

2 Classification(分类)

分类是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。这时，输入变量X可以是离散的，也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数，称为分类器(classifier)。分类器对新的输入进行输出的预测(prediction)，称为分类(classification).

分类问题举例：
邮件：垃圾邮件/非垃圾邮件？
在线交易：是否欺诈（是/否）？
肿瘤：恶性/良性？
以上问题可以称之为二分类问题，可以用如下形式定义：

其中0称之为负例，1称之为正例。

对于多分类问题，可以如下定义因变量y：

如果分类器用的是回归模型，并且已经训练好了一个模型，可以设置一个阈值：

但是对于二分类问题来说，线性回归模型的Hypothesis输出值可以大于1也可以小于0。

这个时候我们引出逻辑回归，逻辑回归的Hypothesis输出介于0与1之间，既:

注: 以下引自李航博士《统计学习方法》1.8节关于分类问题的一点描述：

分类是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。这时，输入变量X可以是离散的，也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数，称为分类器(classifier)。分类器对新的输入进行输出的预测(prediction)，称为分类(classification).

3 Hypothesis Representation

上一节谈到，我们需要将Hypothesis的输出界定在0和1之间，既：

但是线性回归无法做到，这里我们引入一个函数g, 令逻辑回归的Hypothesis表示为：

这里g称为Sigmoid function或者Logistic function, 具体表达式为：

Sigmoid 函数在有个很漂亮的“S"形，如下图所示（引自维基百科）：

综合上述两式，我们得到逻辑回归模型的数学表达式：

其中 x 是我们的输入， θ为我们要求取的参数。

3 决策边界（Decision Boundary）

决策边界，也称为决策面，是用于在N维空间，将不同类别样本分开的平面或曲面。
这里我们引用Andrew Ng 课程上的两张图来解释这个问题：
线性决策边界

对于线性边界的情况，边界形式如下：

构造预测函数为：

函数h(x)的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

非线性决策边界：

4 代价函数

Cost函数和J函数如下，它们是基于最大似然估计推导得到的。

详细说明推导的过程：逻辑回归-理论篇

5 Simplified cost function and gradient descent(简化版代价函数及梯度下降算法)

详细说明：斯坦福大学机器学习第六课

6 pytorch 实现

pytorch实现以及斯坦福逻辑回归课件:gitub