总结5（10.4-10.10）

最新推荐文章于 2024-07-24 17:16:44 发布

xyjaxx.

最新推荐文章于 2024-07-24 17:16:44 发布

阅读量562

点赞数 1

分类专栏：硕士学习总结文章标签：机器学习深度学习神经网络

本文链接：https://blog.csdn.net/xyjaixuexi/article/details/120688063

版权

硕士学习总结专栏收录该内容

14 篇文章 4 订阅

订阅专栏

本周学习了softmax回归，区别去上次学的线性回归，softmax回归其实是一个分类问题，和线性回归不同，softmax回归的输出单元从一个变成了多个，softmax实际是一种运算是使得输出值更适合离散值的预测和训练。

1.softmax回归模型

图1.线性回归神经网络

图2.softmax回归神经网络

softmax 回归跟线性回归⼀样将输⼊特征与权重做线性叠加。与线性回归的⼀个主要不同在于， softmax回归的输出值个数等于标签⾥的类别数。如图2所示的softmax模型就含有4种特征和3种标签类别。对于每个输入计算o1,o2,o3三个输出。如下式子所示：

$\begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{12} + x_3 w_{13} + x_4 w_{14} + b_1,\\ o_2 &= x_1 w_{21} + x_2 w_{22} + x_3 w_{23} + x_4 w_{24} + b_2,\\ o_3 &= x_1 w_{31} + x_2 w_{32} + x_3 w_{33} + x_4 w_{34} + b_3. \end{aligned}$

将输出值oi中最大的输出所对应的的类别作为预测输出，但是输出值很可能不是一个量级的，并且由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。所以我们需要利用softmax运算。

2.softmax运算

$\hat{\mathbf{y}} = \mathrm{softmax}(\mathbf{o})$

$\hat{y}_j = \frac{\exp(o_j)}{\sum_k \exp(o_k)}$

可以看出 $0 \leq \hat{y}_j \leq 1$ ，并且输出总和为1。这样便解决了上面的问题。在实际问题中我们通常利用小批量样本就行计算，假设我们在输出中有q个类别。那么小批量特征为 $\mathbf{X} \in \mathbb{R}^{n \times d}$ ，权重为 $\mathbf{W} \in \mathbb{R}^{d \times q}$ ，偏置为 $\mathbf{b} \in \mathbb{R}^{1\times q}$ 。其矢量计算的表达式为：

$\begin{aligned} \mathbf{O} &= \mathbf{X} \mathbf{W} + \mathbf{b}, \\ \hat{\mathbf{Y}} & = \mathrm{softmax}(\mathbf{O}). \end{aligned}$

3.损失函数

我们仍然可以选择线性回归那样的平方损失函数，但是要想预测分类结果正确，我们并不需要预测概率完全等于标签概率。我们只需要正确类别的预测概率足够大就可以保证分类结果正确。所以这里采用交叉熵损失函数：

如果每个样本只有一个标签则可以简化为：

4.图像分类数据集

在实现softmax回归之前我们引入一个多类图像分类数据集。图像分类数据集中最常用的是手写数字识别数据集MNIST,这里将用Fashion-MNIST数据集来进行实验。

4.1获取数据集

import torch
import torchvision ##对计算机视觉实践的库
from torch.utils import data
from torchvision import transforms##对数据进行操作的模组
from d2l import torch as d2l

d2l.use_svg_display()##用svg显示图片

# 通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式
# 并除以255使得所有像素的数值均在0到1之间
trans = transforms.ToTensor()##图片转为tensor
mnist_train = torchvision.datasets.FashionMNIST(
    root="../data", train=True, transform=trans, download=True)
mnist_test = torchvision.datasets.FashionMNIST(
    root="../data", train=False, transform=trans, download=True)

Fashion-MNIST由10个类别的图像组成，每个类别由训练数据集中的6000张图像和测试数据集中的1000张图像组成。测试数据集（test dataset）不会用于训练，只用于评估模型性能。训练集和测试集分别包含60000和10000张图像。

len(mnist_train), len(mnist_test)

(60000, 10000)

我们可以通过下标来访问任意一个样本：

feature, label = mnist_train[0]
print(feature.shape, label)

输出：

torch.Size([1, 28, 28]) 9

注意：变量 feature 对应⾼和宽均为28像素的图像， feature 的尺⼨是 (C x H x W) ，第⼀维是通道数，因为数据集中是灰度图像，所以通道数为1。后⾯两维分别是图像的⾼和宽。

Fashion-MNIST中包含的10个类别分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫）、dress（连衣裙）、coat（外套）、sandal（凉鞋）、shirt（衬衫）、sneaker（运动鞋）、bag（包）和ankle boot（短靴）。以下函数用于在数字标签索引及其文本名称之间进行转换。

def get_fashion_mnist_labels(labels):  #@save
    """返回Fashion-MNIST数据集的文本标签。"""
    text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
                   'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
    return [text_labels[int(i)] for i in labels]

下⾯定义⼀个可以在⼀⾏⾥画出多张图像和对应标签的函数（此函数已保存在d2lzh包中可以直接调用）

def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5):  #@save
    """Plot a list of images."""
    figsize = (num_cols * scale, num_rows * scale)
    _, axes = d2l.plt.subplots(num_rows, num_cols, figsize=figsize)
    axes = axes.flatten()
    for i, (ax, img) in enumerate(zip(axes, imgs)):
        if torch.is_tensor(img):
            # 图片张量
            ax.imshow(img.numpy())
        else:
            # PIL图片
            ax.imshow(img)
        ax.axes.get_xaxis().set_visible(False)
        ax.axes.get_yaxis().set_visible(False)
        if titles:
            ax.set_title(titles[i])
    return axes

查看训练集中前10个样本的图像和标签：

X, y = next(iter(data.DataLoader(mnist_train, batch_size=10)))
show_images(X.reshape(10, 28, 28), 2, 5, titles=get_fashion_mnist_labels(y));

4.2小批量读取

为了使我们在读取训练集和测试集时更容易，我们使用内置的数据迭代器，而不是从零开始创建一个。数据加载器每次都会[读取一小批量数据，大小为batch_size]。我们在训练数据迭代器中还随机打乱了所有样本。

batch_size = 256

def get_dataloader_workers():  #DataLoader可以使用多进程来读取数据
    """使用4个进程来读取数据。"""
    return 4

train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True,
                             num_workers=get_dataloader_workers())#shuffle随机，通过参数num_workers 来设置4个进程读取数据

查看读取训练数据需要的时间

timer = d2l.Timer()
for X, y in train_iter:
    continue
f'{timer.stop():.2f} sec'

输出：'3.48 sec'

4.3整合所有组件

定义load_data_fashion_mnist函数]，用于获取和读取Fashion-MNIST数据集。它返回训练集和验证集的数据迭代器。此外，它还接受一个可选参数，用来将图像大小调整为另一种形状。

def load_data_fashion_mnist(batch_size, resize=None): 
    """下载Fashion-MNIST数据集，然后将其加载到内存中。"""
    trans = [transforms.ToTensor()]
    if resize:
        trans.insert(0, transforms.Resize(resize))
    trans = transforms.Compose(trans)
    mnist_train = torchvision.datasets.FashionMNIST(
        root="../data", train=True, transform=trans, download=True)
    mnist_test = torchvision.datasets.FashionMNIST(
        root="../data", train=False, transform=trans, download=True)
    return (data.DataLoader(mnist_train, batch_size, shuffle=True,
                            num_workers=get_dataloader_workers()),
            data.DataLoader(mnist_test, batch_size, shuffle=False,
                            num_workers=get_dataloader_workers()))

5.softmax回归的实现

5.1导入所需要的包

import torch
from torch import nn
from d2l import torch as d2l

5.2获取和读取数据

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

5.3定义和初始化模型

# PyTorch不会隐式地调整输入的形状。因此，
# 我们在线性层前定义了展平层（flatten），来调整网络输入的形状
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10))
##nn.Flatten()把任何维度的Tensor变成一维化例如28*28变成784
def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)

net.apply(init_weights);

5.4损失函数

loss = nn.CrossEntropyLoss()

5.5优化算法

trainer = torch.optim.SGD(net.parameters(), lr=0.1)#学习率为0.1的小批量随机梯度下降算法

5.6训练模型

num_epochs = 10
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

总结：本周对softmax回归进行了详细学习，理论比较简单，但代码还需要多实践和学习，感觉时间过得很快。然后最近的课程压力有点大，有些课程快要结课然后考试了，希望自己能合理安排时间抓紧复习。

xyjaxx.

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
总结5（10.4-10.10）

我们可以通过下标来访问任意⼀个样本: 本周学习了softmax回归，区别去上次学的线性回归，softmax回归其实是一个分类问题，和线性回归不同，softmax回归的输出单元从一个变成了多个，softmax实际是一种运算是使得输出值更适合离散值的预测和训练。1.softmax回归模型图1.线性回归神经网络图2.softmax回归神经网络 softmax回归跟线性回归⼀样将输⼊特征与权重做线性叠加。与线性回归的⼀个主要不同在于， softmax回归的输出值个...
复制链接

扫一扫