逻辑回归-分类问题---使用PyTorch的API实现

独热编码：

逻辑回归的类别我们使用独热编码，独热编码是一个向量，有几个类别该向量就有多长，我们将类别对应的分量设置为1，其他所有分量设置为0。

激活函数：softmax

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是

交叉熵损失函数：

在分类问题中，我们使用的是交叉熵损失函数，而不是均方误差，均方误差是用来计算连续值的损失函数，理由如下：

对比交叉熵和均方误差损失，可以发现，两者均在y^=y=1时取得最小值0，但在实践中y^py^p只会趋近于1而不是恰好等于1，在y^p<1的情况下，

• 交叉熵只与label类别有关，y^py^p越趋近于1越好
• 均方误差不仅与y^py^p有关，还与其他项有关，它希望y^1,…,y^p−1,y^p+1,…,y^Ky^1,…,y^p−1,y^p+1,…,y^K越平均越好，即在1−y^pK−11−y^pK−1时取得最小值

分类问题中，对于类别之间的相关性，我们缺乏先验。

在这个前提下，均方误差损失可能会给出错误的指示，比如猫、老虎、狗的3分类问题，label为[1,0,0]，在均方误差看来，预测为[0.8,0.1,0.1]要比[0.8,0.15,0.05]要好，即认为平均总比有倾向性要好，但这有悖我们的常识。

而对交叉熵损失，既然类别间复杂的相似度矩阵是难以量化的，索性只能关注样本所属的类别，只要y^py^p越接近于1就好，这显示是更合理的。

import torch
from torch import nn
from d2l import torch as d2l


batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

# PyTorch不会隐式地调整输入的形状。因此，
# 我们在线性层前定义了展平层（flatten），来调整网络输入的形状
# nn.Flatten()把数据变成二维的
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10))

# 初始化参数
def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)

net.apply(init_weights)

loss = nn.CrossEntropyLoss()
trainer = torch.optim.SGD(net.parameters(), lr=0.1)

# 训练
num_epochs = 10
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

直观理解为什么分类问题用交叉熵损失而不用均方误差损失? - shine-lee - 博客园