深度学习04——逻辑回归及分类评估

咔拉西

于 2024-03-25 20:52:25 发布

阅读量674

点赞数 9

分类专栏：深度学习文章标签：深度学习逻辑回归分类笔记

本文链接：https://blog.csdn.net/qq3125465/article/details/136988555

版权

深度学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

引言

逻辑回归（Logistics Regression）

引言

在前面，我们学过的线性回归中，输出的都是连续性的函数值，那如果，我需要一个模型根据一个人的外貌预测他的性别呢？那么输出只有男或者女，这样就是一个分类的模型了。我们用什么来表示男和女呢？很容易想到，我们可以用0和1分别表示男和女，但是由于我们的线性模型的输出值是不定的函数值，所以不能简单的用线性模型来拟合了。我们想要输出0和1，如果可以找到一个函数只输出0和1就好了，或者输出值只在0和1之间，我们在0到1之间确定一个分界线（分类阈值），把靠近1的作为1输出，靠近0的作为0输出。这时我们就发现了sigmoid函数刚好可以满我们的需求。

sigmoid函数 $F(x)=\frac{1}{1+e^{-x}}$

逻辑回归（Logistics Regression）

模型选择

我们知道线性回归的基本模型为 $F(x)=\omega x+b$ 其中x可以为多个变量。但是sigmoid函数只能由一个变量x。那么假如我们把sigmoid函数中的x拆分为多个变量，把它认为是多个变量的整体。这时我们就可以用线性回归的形式把多个变量连系起来，然后再输入sigmoid函数中进行转换。

$z=\sum_{i}^{}\omega _{i}x_{i}+b$

$\sigma (z)=\frac{1}{1+e^{-z}}$

损失函数

那么我们的模型就建立好了，以上就是我们建立的模型，接下来想要训练该模型，就要定义一个损失函数了。那么对分类模型的损失函数就不能用L=（y-y_pre）^2 了。这个时候，我们的损失函数就是交叉熵损失函数：

$L=-y*log(\hat{y})-(1-y)*log(1-\hat{y})$

之所以不能用平方误差损失函数，就是因为无论我们的预测值是不是接近我们的目标值。梯度都接近会为0。很容易陷入局部最优点。不利于对模型的训练。

梯度下降

通过对损失函数的求偏导，具体的求导过程，我就不一一列出来了。我们可以得到梯度为：

$g=\sum-(\hat{y}^{n}-f_{w,b}(x^{n}))x^{n}_{i}$

逻辑回归的向量化

我们的模型函数是

$z=\sum_{i}^{}\omega _{i}x_{i}+b$

$\sigma (z)=\frac{1}{1+e^{-z}}$

那假如有很多个变量x，我们的表达式就会很繁琐，那么，我们可以用X矩阵表示特征x,用矩阵W，表示 $\omega$ ，这时b就等于b=x1*w1，x1=1，w1=b。

评估分类模型的有效性

基本概念

• 真正例 是指模型将正类别样本正确地预测为正类别。 True Positive,TP

• 真负例 是指模型将负类别样本正确地预测为负类别。 True Negative,TN

• 假正例 是指模型将负类别样本错误地预测为正类别。 False Positive,FP

• 假负例 是指模型将正类别样本错误地预测为负类别。 False Negative,FN

假正率：负例被分为正例的比例（N为本身为负例的数量）

真正率：正例被分为正例的比例（P为本身为例的数量）

精确率：在被识别为正类别的样本中，确实为正类别的比例

召回率：在所有正类别样本中，被正确识别为正类别的比例

准确率：指模型预测正确的结果所占的比例

调和

举个例子：

有一个模型对100个肿瘤进行分类，分为恶性（正类别）或良性（负类别），

真正例（TP）：1,假正例（FP）：1，假负例（FN）：8，真负例（TN）：90

准确率=（1+90）/100=91%

虽然一看好像还挺高的，但是，假如我们用一个预测的结果总是良性的模型预测，也能达到91%的准确率，就是说我们用一个没有分类能力的模型，也能得到差不多的结果，那么就不能单用准确率来评估模型的好坏。我们就可以发现：使用分类不平衡的数据集（正、负类别标签数量有明显差异）时，单单准确率一项并不能反映全面情况。

通过计算精确率和召回率分别为0.5和0.11。可以看出，这个模型并不是很好。

通过调节分类阈值，可以调节精确率和召回率，但是不信的是，这两个评估参数是此消彼长的关系，所以还是比较困难。那么我们就引入了ROC曲线。