Keras深度学习笔记 逻辑回归

简介

逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛

原理

要想掌握逻辑回归，必须掌握两点：

• 逻辑回归中，其输入值是什么
• 如何判断逻辑回归的输出

输入

逻辑回归的输入就是一个线性回归的结果。

激活函数

sigmoid函数

我们定义逻辑回归的预测函数为ℎ_𝜃( 𝑥) = 𝑔( 𝜃^𝑇𝑥) ，其中g(x)函数是sigmoid函数。


sigmoid函数是一个概率分布函数，给定某个输入，它将输出为一个概率值。

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。

损失函数

线性回归我们采用均方误差（MSE）作为损失函数，而逻辑回归（分类算法）采用交叉熵（Cross Entropy）。

交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，则：

H(p,q) = - ∑p(x)log^q(x)

在keras里，我们使用binary_crossentropy 来计算二元交叉熵。

softmax分类

逻辑回归解决的是二分类的问题，对于多个选项的问题，我们可以使用softmax函数它是逻辑回归在 N 个可能不同的值上的推广。

softmax要求每个样本必须属于某个类别，且所有可能的样本均被覆盖。
softmax样本分量之和为 1 。
当只有两个类别时，与逻辑回归完全相同

softmax函数的本质是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0,1）之间，而且所有元素之和为1。

在keras里，对于多分类问题我们使用 categorical_crossentropy 和sparse_categorical_crossentropy 来计算softmax交叉熵。

参考文章：https://zhuanlan.zhihu.com/p/38853901