线性回归与softmax回归的区别

线性回归是一种回归算法，根据当前数据去学习直线的两个参数。可以用输入特征维度为2输出为1的单层神经网络来实现。线性回归模型适⽤于输出为连续值的情景

 

softmax回归，是一种分类方法，模型输出可以是⼀个
像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使⽤诸如softmax 回归在内的
分类模型。和线性回归不同，softmax 回归的输出单元从⼀个变成了多个，且引⼊了softmax 运
算使得输出更适合离散值的预测和训练。

Softmax 回归跟线性回归⼀样将输⼊特征与权重做线性叠加。与线性回归的⼀个主要不同在于，
softmax 回归的输出值个数等于标签⾥的类别数。

 

Softmax 回归同线性回归⼀样，也是⼀个单层神经⽹络。
由于每个输出o1; o2; o3 的计算都要依赖于所有的输⼊x1; x2; x3; x4，softmax 回归的输出层也是
⼀个全连接层。

交叉熵损失函数：

使⽤softmax 运算后可以更⽅便地与离散标签计算误差。我们已经知道，softmax 运
算将输出变换成⼀个合法的类别预测分布。实际上，真实标签也可以⽤类别分布表达：对于样本

交叉熵损失函数是一个用来衡量两个概率分布差异的测量函数。