b站李沐_pytorch动手机器学习09_softmax回归学习笔记

Softmax回归

知识点总览

• 回归和分类问题的概念

• softmax算子的作用和原理

• 为什么使用交叉熵函数

一、分类和回归

机器学习两大基本问题，分类和回归

• 回归问题：预测的是一个具体数值，是连续值。模型输出一个数值；

• 分类问题：预测的是一个类别，是离散值。模型输出一个向量，表示每一个类别的预测概率；

回归问题中，常使用MSE和MAE损失函数，计算模型预测值和真实值之间的距离差距作为损失；

分类问题相比回归问题，不关注每一个类别的具体概率数值，更关心对于正确类别的输出概率，是否远远大于其它类别的输出概率，因此损失函数使用MSE/MAE就不太合适，优化目标为：
$$o_y-o_i\ge △(y,i)$$
其中$o_y$为正确类别概率，$o_i$为其它类别概率；

二、Softmax算子

假定当前网络输出为$o$，是一个长度为n的向量，除此之外没有任何约束。这也是我们经典的网络的输出形式。而我们希望的输出是一个长度为n的向量，每一个分量表示预测为第i类的概率；

定义一个softmax算子，$\hat{y}=softmax(o)$，得到一个长度为n的向量$\hat{y}$， y ^ \hat{y}