pytorch LSTM从头开始训练一个语言模型代码及其注释

最新推荐文章于 2024-12-20 17:59:54 发布
原创 最新推荐文章于 2024-12-20 17:59:54 发布 · 1.9k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何使用PyTorch中的LSTM和GRU训练一个语言模型，该模型能根据输入词预测下一个词。内容涵盖LSTM的隐藏状态、输出和隐藏层结构，以及双向LSTM的处理方式。核心是利用前一时刻的隐藏状态和嵌入层输出来计算当前时刻的隐藏状态。

利用lstm 和gru 训练一个语言模型 

这个语言模型 就是输入一个词预测下一个词是什么 

  
        **********************************************************************************************************
        emb: torch.Size([32, 32, 650])
        hidden ([2,32,650],[2,32,650])
        这里的Hidden 是包括  hidden  和cell  (hidden,cell)
        
        output torch.Size([32, 32, 650]) 是 [seq_len,batch_Size, embed_size]  
        RNN 的输出 是前面的Hidden  和当前的Input 预测出来的 prey  shape  自认和输入的shape 一样  [seq_len,batch_size,embed_szie]
        抛开批维度 来看 输入就是  [seq_lenth,embed_Size]>>>>output 输出 [seq_len,embed_Size]  
        hidden  则是最后的隐藏状态 维度 [1,hidden_Size] 这里我们一般 hidden_size==embed_size
        因为每次一个序列输出之后  我们都只是拿到最后的隐藏状态    中间状态我们都没有拿  和cell状态 
        
        如果加上批处理维度  在加上2层  [layers,batch_size,hidden_size]  cell 的维度一样  GRu 没有这cell 只有一个状态 
        
        如果是双层的化  hidden 的是 size ==[layers*2,batch_Size,hidden_size] 
        
        一般我们会进行一个双向的合并   hidden[-1]+hidden[-2]  进行相加  
        
        模型的本质就是上一个隐藏状态 [1,1,hidden_Size]+[1,1,embed_size]>>>>output[1,1,embed_Size]
        
        根据 LsTM的推导公式是可以看出 我么计算当前  Hidden的时候 只用到上个Hidden 没有用到cell  cell是根据 ft  it  ct算出来的 
        ************************************************************************************************************
        

"""
https://github.com/pytorch/text

学习语言模型，以及如何训练一个语言模型
学习torchtext的基本使用方法
构建 vocabulary
word to inde 和 index to word
学习torch.nn的一些基本模型
Linear
RNN
LSTM
GRU
RNN的训练技巧
Gradient Clipping
如何保存和读取模型
我们会使用 torchtext 来创建vocabulary, 然后把数据读成batch的格式。请大家自行阅读README来学习torchtext。

"""


import torchtext
from torchtext.vocab import Vectors
import torch
import numpy as np
import random

USE_CUDA=torch.cuda.is_available()
device=torch.device('cuda' if USE_CUDA else 'cpu')

#为了保证实验结果可以复现  我们经常会吧各种random seed 固定在某一个值
random.seed(53113)
np.random.seed(53113)
torch.manual_seed(53113)

if USE_CUDA:
    torch.cuda.manual_seed(53113)
    
BATCH_SIZE=32
EMBEDDING_SIZE=650
MAX_VOCAB_SIZE=50000

"""
我们会继续使用上次的text8作为我们的训练，验证和测试数据
TorchText的一个重要概念是Field，它决定了你的数据会如何被处理。我们使用TEXT这个field来处理文本数据。
我们的TEXT field有lower=True这个参数，所以所有的单词都会被lowercase。
torchtext提供了LanguageModelingDataset这个class来帮助我们处理语言模型数据集。
build_vocab可以根据我们提供的训练数据集来创建最高频单词的单词表，max_size帮助我们限定单词总量。
BPTTIterator可以连续地得到连贯的句子，BPTT的全程是back prop
最低0.47元/天 解锁文章
大语言模型原理与工程实践：手把手教你训练 7B 大语言模型 动手预训练实践
AI大模型应用之禅
06-24 1182
大语言模型原理与工程实践：手把手教你训练 7B 大语言模型 动手预训练实践 1.背景介绍 1.1 大语言模型的兴起 近年来，随着深度学习技术的飞速发展，大语言模型（Large Language Mo
大语言模型原理与工程实践：手把手教你训练 7B 大语言模型 自动化训练框架
AI天才研究院
07-10 1695
近年来，大语言模型（Large Language Models，LLMs）在自然语言处理领域取得了突破性进展。从GPT-3到ChatGPT，再到最新的GPT-4，这些模型展现出了惊人的语言理解和生成能力，引发了学术界和产业界的广泛关注。然而，训练如此庞大的模型不仅需要海量的数据和计算资源，还需要复杂的工程实践和优化技巧。本文将深入探讨大语言模型的原理，并以7B参数规模的模型为例，详细介绍如何构建一个自动化训练框架，使读者能够亲自动手训练自己的大语言模型。
PyTorch编程基础03--用PyTorch实现一个简单模型
weixin_44288092的博客
03-05 696
一个简单的PyTorch模型
Pytorch 训练模型代码范例
即事多所欣 的博客
02-20 974
【代码】Pytorch 训练模型代码范例
LSTM(Long short term memory)网络结构和语言模型代码
fxfviolet的博客
08-31 1828
       长短时记忆网络（Long short term memory，LSTM）是一种循环神经网络（Recurrent neural network，RNN）。与卷积神经网络不同的是，循环神经网络会对每一个时刻的输入结合当前模型的状态给出一个输出。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM具有非常广泛的应用，包括语音识别、文本分类、语言模型、自...
PyTorch 训练生成式语言大模型
chen_account的博客
07-11 1117
使用适合大规模数据和大模型的架构，如 BERT、GPT-3 等。可以使用 Hugging Face Transformers 库中的预定义模型。model = model.to('cuda') # 将模型移动到 GPU。
从零开始用Pytorch构建大型语言模型（LLM）
python12222_的博客
12-06 2127
生成式模型是目前人工智能领域最令人着迷的方向之一，尤其是那些基于用户提示生成文本的文本生成模型。一个著名的例子是OpenAI的ChatGPT，它是一个 助手模型，可以回答用户在多个主题上的问题。在这篇文章中，我们将介绍大型语言模型（LLM）、它的工作原理，以及如何从零开始训练它。我会尽量把文章中的每个主题都讲清楚，希望大部分读者都能理解并有所收获 😁。如果你打算运行所有代码示例，请确保你已经先导入了所需的库。你可能认为LLM就是一些可以生成类似人类语言文本的模型，对吧？嗯，没错，基本上就是这样。
PyTorch tutorial - BiLSTM CRF 代码解析
Ono_online的博客
03-25 1207
本文主要对PyTorch的tutorial之一，Advanced: Making Dynamic Decisions and the Bi-LSTM CRF，进行详细解读，行文顺序上，首先说明一下前面几个辅助函数的作用，然后主体按照Run training的运行顺序进行。(以下删除了原代码注释，可回tutorial中查看) def argmax(vec): _, idx = torch.m...
基于 Pytorch 与 torchtext 构建的自然语言处理深度学习框架
最新发布
08-10
随着深度学习技术的发展，NLP领域已经取得了显著的突破，PyTorch作为一个强大的深度学习框架，其生态中的torchtext库专注于文本处理任务，提供了一系列工具来简化序列模型的构建与训练。 构建一个基于PyTorch和...
一文了解 | 用PyTorch训练大语言模型
star_nwe的博客
12-20 1053
解除了以上误区，如果你又对大语言模型很感兴趣，那么还有什么理由不马上去尝试呢？赶快行动吧，拥有一个属于自己的大模型就从现在开始。使用 PyTorch 训练大语言模型可以让用户快速地开发和部署高质量的语言模型，获得高效的计算资源、灵活的模型设计、快速的模型训练和推理，PyTorch就是研究和开发 LLM 的理想选择。
从零到一，PyTorch带你构建属于自己的“超级大脑”——大型语言模型（LLM）实战指南
weixin_43199439的博客
12-20 983
从零开始构建一个大型语言模型是一个充满挑战但非常有趣的过程。通过理解数据预处理、模型架构和训练过程，你不仅能学到LLM的基本原理，还能掌握深度学习中一些更高级的技巧。虽然我们今天构建的模型还只是一个简化版，但这已经为你进入自然语言处理领域打下了坚实的基础。接下来，你可以尝试更多优化、扩大数据集、训练更复杂的模型，甚至挑战GPT-3那样的“巨无霸”！
Pytorch入门+实战系列四： Pytorch语言模型
Miracle8070
07-21 3061
Pytorch官方文档：https://pytorch.org/docs/stable/torch.html? 1. 写在前面 今天开始，兼顾Pytorch学习， 如果刚刚接触深度学习并且想快速搭建神经网络完成任务享受快感，当然是Keras框架首选，但是如果想在深度学习或人工智能这条路上走的更远，只有Keras就显得有点独木难支，这时候我们需要一个更加强大的框架，这里我想学习Pytorch，它代码通俗易懂，接近Python原生，学起来也容易一些，所以接下来会整理自己在快速入门Pytorch道路上的所见所得，
PyTorch学习（8）-问答系统、文本摘要和大规模预训练语言模型
Jocab_jl的博客
07-08 1353
问答系统 1. SQuAD数据集 给定一段文字作为context，给定一个问题question，从context中寻找一段连续的文字(text span)作为问题的答案。 网址：https://rajpurkar.github.io/SQuAD-explorer/ 代码：https://github.com/galsang/BiDAF-pytorch 2. 数据格式 3. 整体流程架构 文本摘要 所谓摘要，就是对给定的单个或者多个文档进行梗概，即在保证能够反映原文档的重要内容的情况下，尽可能地保持简
【Pytorch神经网络实战案例】11 循环神经网络结构训练语言模型并进行简单预测
热门推荐
小李的研究生学习日记
03-20 1万+
1 语言模型步骤 1.1 根据需求拆分任务 1.2 根据任务设计功能模块 1.3 根据功能模块设计实现方案 1.4 2 语言模型的代码实现
从0开始学PyTorch（二）：文本预处理、语言模型、循环神经网络基础
零度空间
02-14 222
本次学习主要分为三部分，分别是文本预处理、语言模型和循环神经网络。 文本处理。
【读】seq2seq—（5）UNK问题
imsuhxz的博客
09-10 7946
本文转载自： 自动文摘（十） 目录 Motivation Solution Char-based Vocabulary expansion Output layer boost Pointing/Copy   生活不只是眼前的苟且，还有paper和远方 不知不觉坚持写自动文摘系列的博客已经50天了，本篇是系列的第十篇。其实说是系列文章并不准确，只是每篇博客与自动文摘有关系...
pytorch代码实践--语言模型 language model
qq_41950261的博客
12-25 912
导入相应包 使用的是text8数据集，分为train，val, test三个数据集 import torchtext from torchtext.vocab import Vectors import torch import torch.nn as nn import numpy as np import random batch_size = 32 embedding_size = 50 max_vocab_size = 50000 hidden_size = 100 learn_r..
Pytorch学习笔记之语言模型（四）
饲养员的小熊猫博客
06-21 1199
语言模型的目标是计算一句话出现的概率有多高？最好的应用即生成类模型，根据一个主题完成一篇描述性文章。最近精彩的项目狗屁不通文章生成器就是典型代表。在线版本请尝试. 理论 一句话出现的概率： 根据条件概率定义，可以推导出 因此Markov提出假设：每个单词只跟它之前的n个单词有关。进而推广二元模型（每个单词由它前面一个单词决定）、N元模型（每个单词由它前面N-1个单词决定）。 评价语义模型的标准 困惑度（Perplexity），一句话的困惑度越高证明生成效果越差。公式如下： 实战 本次训练方式采用二.
解决：lstm repackage_hidden(), TypeError: iteration over a 0-d tensor
沉迷单车的追风少年
11-22 1246
项目场景： LSTM训练 问题描述： Traceback (most recent call last): File "sample.py", line 81, in <module> sample_stroke() File "sample.py", line 42, in sample_stroke [strokes, params] = model.sample(sample_args.sample_length) File "/root/Handwri
只要pytorch做lstm
04-12
<think>嗯，用户想用PyTorch构建和训练LSTM网络，我需要一步步解释清楚。首先，根据引用里的资料，LSTM在PyTorch里有封装好的模块，比如nn.LSTM，但用户可能也需要了解底层实现。根据引用[2]和[3]，数据格式通常是三维的，形状是<N, seq_len, features>，这点很重要，得先说明数据预处理步骤。 接下来是模型构建部分。用户可能需要知道如何用PyTorch的nn.LSTM模块，或者从头搭建。引用[2]提到有人用第三方封装导致问题，所以或许应该推荐使用PyTorch原生的nn.LSTM，同时提到如何自定义参数，比如输入大小、隐藏层大小、层数。另外，引用[3]提到如果想改变各层的神经元数目，需要用LSTMCell，这点可以作为扩展内容。 然后是训练循环，需要包括损失函数、优化器、训练和验证步骤。引用[1]里的项目提到了数据预处理、超参数设置、模型保存等，这些都要涵盖进去。可能还要提到如何保存和加载模型，以及可视化训练过程。 性能评估和可视化部分，引用[1]和[3]都有涉及，比如绘制损失曲线，或者测试集上的指标。此外，应用场景如时间序列预测、文本生成可能需要举例，帮助用户理解实际用途。 用户的问题可能还涉及如何调试模型，比如梯度消失或过拟合，这时候可以建议使用梯度裁剪或Dropout层。另外，超参数调整如学习率、隐藏层大小、序列长度的影响，也是常见问题，需要包含在相关问题里。 要确保步骤清晰，代码示例正确，比如数据格式转换、模型定义、训练循环。同时注意LaTeX格式，变量用$符号包裹，如输入维度$d_{in}$，隐藏层$h$。避免使用第三方库，除非是PyTorch自带的。 最后生成的相关问题要覆盖模型结构、数据预处理、超参数调整、应用场景和常见问题处理，这样用户可以有进一步学习的路径。检查引用是否正确，每个引用标识对应到正确的来源，确保信息准确。</think>根据PyTorch LSTM实现的最佳实践，以下是分步骤的完整实现指南： ### 一、数据预处理关键步骤 1. **序列格式转换**：输入数据需转换为三维张量$(\text{batch\_size},\text{seq\_len},\text{input\_size})$，例如$(32,10,5)$表示32个样本，每个样本10个时间步，每个时间步5个特征[^3] 2. **标准化处理**：使用`sklearn.preprocessing.StandardScaler`对时序数据进行归一化 3. **数据集划分**：按6:2:2比例划分训练集、验证集、测试集 ### 二、LSTM模型构建 ```python import torch import torch.nn as nn class LSTM_Model(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super().__init__() self.hidden_size = hidden_size self.num_layers = num_layers self.lstm = nn.LSTM( input_size=input_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True # 输入格式为(batch, seq, feature) ) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size) c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size) out, (hn, cn) = self.lstm(x, (h0, c0)) out = self.fc(out[:, -1, :]) # 取最后一个时间步输出 return out ``` 模型参数说明： - $d_{in}$：输入特征维度(input_size) - $h$：隐藏层维度(hidden_size) - $n_{layers}$：堆叠层数(num_layers)[^3] ### 三、训练流程实现 ```python # 初始化参数 model = LSTM_Model(input_size=5, hidden_size=32, num_layers=2, output_size=1) criterion = nn.MSELoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # 训练循环 for epoch in range(100): for inputs, labels in train_loader: outputs = model(inputs) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5) # 梯度裁剪 optimizer.step() # 验证集评估 with torch.no_grad(): val_loss = 0 for val_in, val_lab in val_loader: pred = model(val_in) val_loss += criterion(pred, val_lab) print(f"Epoch {epoch+1}, Val Loss: {val_loss.item():.4f}") ``` ### 四、关键技巧说明 1. **梯度裁剪**：防止梯度爆炸，推荐阈值设为0.5-1.0[^1] 2. **学习率调度**：可使用`torch.optim.lr_scheduler.StepLR` 3. **早停机制**：当验证损失连续3个epoch不下降时终止训练 4. **模型保存**： ```python torch.save({ 'model_state_dict': model.state_dict(), 'optimizer_state_dict': optimizer.state_dict(), }, 'best_model.pth') ``` ### 五、应用场景示例 1. 时间序列预测（股票价格、气象数据） 2. 自然语言处理（文本生成、情感分析） 3. 设备状态预测（工业设备故障预警） ### 六、性能优化建议 1. **并行化处理**：设置`num_workers=4`加速数据加载 2. **混合精度训练**：使用`torch.cuda.amp.autocast` 3. **层归一化**：在LSTM层后添加`nn.LayerNorm`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值