ROCm上情感分析：使用循环神经网络

15.2. 情感分析：使用循环神经网络 — 动手学深度学习 2.0.0 documentation (d2l.ai)

代码

import torch
from torch import nn
from d2l import torch as d2l

batch_size = 64
train_iter, test_iter, vocab = d2l.load_data_imdb(batch_size)

class BiRNN(nn.Module):
    def __init__(self, vocab_size, embed_size, num_hiddens,
                 num_layers, **kwargs):
        super(BiRNN, self).__init__(**kwargs)
        self.embedding = nn.Embedding(vocab_size, embed_size)
        # 将bidirectional设置为True以获取双向循环神经网络
        self.encoder = nn.LSTM(embed_size, num_hiddens, num_layers=num_layers,
                                bidirectional=True)
        self.decoder = nn.Linear(4 * num_hiddens, 2)

    def forward(self, inputs):
        # inputs的形状是（批量大小，时间步数）
        # 因为长短期记忆网络要求其输入的第一个维度是时间维，
        # 所以在获得词元表示之前，输入会被转置。
        # 输出形状为（时间步数，批量大小，词向量维度）
        embeddings = self.embedding(inputs.T)
        self.encoder.flatten_parameters()
        # 返回上一个隐藏层在不同时间步的隐状态，
        # outputs的形状是（时间步数，批量大小，2*隐藏单元数）
        outputs, _ = self.encoder(embeddings)
        # 连结初始和最终时间步的隐状态，作为全连接层的输入，
        # 其形状为（批量大小，4*隐藏单元数）
        encoding = torch.cat((outputs[0], outputs[-1]), dim=1)
        outs = self.decoder(encoding)
        return outs

embed_size, num_hiddens, num_layers = 100, 100, 2
devices = d2l.try_all_gpus()
net = BiRNN(len(vocab), embed_size, num_hiddens, num_layers)

def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.xavier_uniform_(m.weight)
    if type(m) == nn.LSTM:
        for param in m._flat_weights_names:
            if "weight" in param:
                nn.init.xavier_uniform_(m._parameters[param])
net.apply(init_weights);

glove_embedding = d2l.TokenEmbedding('glove.6b.100d')

embeds = glove_embedding[vocab.idx_to_token]
embeds.shape

net.embedding.weight.data.copy_(embeds)
net.embedding.weight.requires_grad = False

lr, num_epochs = 0.01, 5
trainer = torch.optim.Adam(net.parameters(), lr=lr)
loss = nn.CrossEntropyLoss(reduction="none")
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs,
    devices)

#@save
def predict_sentiment(net, vocab, sequence):
    """预测文本序列的情感"""
    sequence = torch.tensor(vocab[sequence.split()], device=d2l.try_gpu())
    label = torch.argmax(net(sequence.reshape(1, -1)), dim=1)
    return 'positive' if label == 1 else 'negative'

predict_sentiment(net, vocab, 'this movie is so great')

predict_sentiment(net, vocab, 'this movie is so bad')

代码解析

这段代码实现了一个用于情感分析的双向循环神经网络（BiRNN）。下面我将逐部分用中文解析它：
1. 导入所需的库和模块：

import torch
from torch import nn
from d2l import torch as d2l

这里导入了PyTorch库、神经网络模块`nn`和基于PyTorch的深度学习库`d2l`（深度学习的一本书）。
2. 加载数据集：

batch_size = 64
train_iter, test_iter, vocab = d2l.load_data_imdb(batch_size)

加载IMDB电影评论数据集，并用迭代器`train_iter`和`test_iter`进行训练和测试。`vocab`是数据集的词汇表。
3. 定义双向循环神经网络（BiRNN）模型：

class BiRNN(nn.Module):
    ...

创建了一个名为`BiRNN`的类，用于定义双向LSTM模型。模型有一个嵌入层（`embedding`），将词汇映射到向量空间。LSTM层（`encoder`）设定为双向，输出经过全连接层（`decoder`）得到最终的分类结果。
4. 初始化模型参数：

def init_weights(m):
    ...
net.apply(init_weights);

init_weights函数用于模型参数的初始化。`net.apply(init_weights);`使用这个函数来应用参数初始化。
5. 加载预训练的词向量：

glove_embedding = d2l.TokenEmbedding('glove.6b.100d')
embeds = glove_embedding[vocab.idx_to_token]
net.embedding.weight.data.copy_(embeds)
net.embedding.weight.requires_grad = False

使用GloVe预训练的100维词向量，并将它们复制到嵌入层`net.embedding`。同时设置`requires_grad = False`使得这些词向量在训练中不被更新。
6. 训练模型：

lr, num_epochs = 0.01, 5
trainer = torch.optim.Adam(net.parameters(), lr=lr)
loss = nn.CrossEntropyLoss(reduction="none")
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)

设置学习率和迭代次数，使用Adam优化器和交叉熵损失函数。用`d2l.train_ch13`函数来训练和评估模型。
7. 定义预测函数：

def predict_sentiment(net, vocab, sequence):
    ...

这个函数用于预测给定文本序列的情感标签（积极或消极）。
8. 使用模型进行预测：

predict_sentiment(net, vocab, 'this movie is so great')
predict_sentiment(net, vocab, 'this movie is so bad')

调用`predict_sentiment`函数分别对两个句子进行情感预测。
整体来看，这段代码主要是利用循环神经网络对电影评论的情感进行分类，它通过加载预训练好的词向量，构建一个双向LSTM网络，并在IMDB评论数据集上进行训练和测试。最后定义了一个实用函数，用于预测输入句子的情感倾向。