深度学习基础：实现Softmax回归

一、导入库

%matplotlib inline
import d2lzh as d2l
from mxnet import gluon, init
from mxnet.gluon import loss as gloss, nn

二、获取Fashion-MNIST数据集并读取数据

在给出代码之前，先介绍一下该数据集。Fashion-MNIST数据集是比MNIST数据集更复杂的数据集。其中，

• 图像的形状为(28, 28, 1)，表示高、宽均为28，通道数为1（灰度图像）
• 训练集图像每个类别有6000个，测试集图像每个类别有1000个
• 一共10个类别

（在下载数据集的时候，如果速度很慢，可以在网上找别人分享的百度网盘资源~）

代码如下：

batch_size = 256
# root表示存放数据集的路径
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, root='...')

三、定义和初始化模型

net = nn.Sequential()
net.add(nn.Dense(10)) # Softmax回归输出大小为10
net.initialize(init.Normal(sigma=0.01))

四、Softmax运算和交叉熵损失函数

# Softmax运算和交叉熵损失函数合在一个函数里
# 且Gluon提供的这个函数比手动实现的稳定性更好
loss = gloss.SoftmaxCrossEntropyLoss()

五、定义优化算法

 trainer = gluon.Trainer(net.collect_params(), 'sgd', {'learning_rate': 0.1})

六、训练模型

num_epochs = 5
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None,
None, trainer)

七、完整代码及运行结果

%matplotlib inline
import d2lzh as d2l
from mxnet import gluon, init
from mxnet.gluon import loss as gloss, nn

## 读取数据
batch_size = 256
# root表示存放数据集的路径
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, root='...')

## 定义模型并初始化
net = nn.Sequential()
net.add(nn.Dense(10)) # Softmax回归也是一个单层全连接层，输出大小为10
net.initialize(init.Normal(sigma=0.01))

## Softmax运算和交叉熵损失函数
# Softmax运算和交叉熵损失函数合在一个函数里
# 且Gluon提供的这个函数比手动实现的稳定性更好
loss = gloss.SoftmaxCrossEntropyLoss()

## 定义优化算法
trainer = gluon.Trainer(net.collect_params(), 'sgd', {'learning_rate': 0.1})

## 训练模型
num_epochs = 5
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None,
None, trainer)

---

该电子书在“Softmax回归从0实现”部分有一些操作的小技巧，我准备也记录在这里。

1. 计算分类的准确率

假设y_hat是2个样本在3个类别的预测概率预测的概率分布，y是这2个样本的标签类别，那么计算准确率函数如下：

def accuracy(y_hat, y):
	return (y_hat.argmax(axis=1) == y.astype('float')).mean().asscalar()

• argmax()函数可以返回y_hat最大元素的索引，即对应的类别序号
• 由于y_hat是概率分布，里面都是[0, 1]的浮点数。而真实的分布都是0、1的整数。所以如果要比较，应该先将y转换float类型
• 结果mean()：由于预测正确的部分会变成1，错误的部分会变成0。所以求和之后即为预测正确的个数，取平均值即除预测的总个数。因此取mean()之后即为准确率
• 由于mean()计算的结果是一个矢量，所以需要通过asscalar()将其变成标量

2.

（好像没有2了。。）