NNLM的Pytorch实现

最新推荐文章于 2025-02-11 12:15:19 发布

Nlper_Zhao

最新推荐文章于 2025-02-11 12:15:19 发布

阅读量530

点赞数

分类专栏：深度学习和神经网络文章标签：自然语言处理 pytorch 神经网络深度学习

本文链接：https://blog.csdn.net/weixin_40605573/article/details/109088637

版权

本文详细介绍了如何使用Pytorch实现神经网络语言模型（NNLM），涵盖了自然语言处理的基础知识和深度学习技术，重点解析了模型的架构与训练过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import torch
import torch.nn as nn
import torch.optim as optimizer
import torch.utils.data as Data

dtype = torch.FloatTensor

sentences = ['i like cat','i love coffee','i hate milk']
sentences_list = " ".join(sentences).split() # ['i', 'like', 'cat', 'i', 'love', 'coffee', 'i', 'hate', 'milk']
# print(sentences_list)
# 构建词汇表
vocab = list(set(sentences_list)) # 用set去重，再转换成list # ['i', 'like', 'cat', 'love', 'coffee', 'hate', 'milk']
word2idx = {
   w:i for i, w in enumerate(vocab)} # {'i':0, 'like':1, 'cat':2, 'love':3, 'coffee':4, 'hate':5, 'milk':6}
idx2word = {
   i:w for i, w in enumerate(vocab)}  # {0:'i', 1:'like', 2:'cat', 3:'love', 4:'coffee', 5:'hate', 6:'milk'}

n_class = len(vocab) # number of Vocabulary, just like |V|, in this task n_class=7

# 定义参数  NNLM(Neural Network Language Model) Parameter
m = 2 # m in paper, word embedding dim
n_step = 2 # 输入句子的长度 # n-1 in paper, look back n_step words and predict next word. In this task n_step=2
n_hidden = 10 # 隐藏层神经元个数 # h in paper

# 构建X
def make_data(sentences):
    input_data = [