关于NLP模型GPT-2的学习笔记（三）

最新推荐文章于 2023-03-09 17:14:03 发布
最新推荐文章于 2023-03-09 17:14:03 发布
阅读量226 收藏
点赞数
分类专栏： Python 文章标签： python 深度学习 自然语言处理 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bjwhile/article/details/115037004
版权

关于NLP模型GPT-2的学习笔记（三）

文章目录

前言

前面主要介绍了GPT-2的基本原理和工作流程，本次会进行一些训练模型和模型使用的实践

一、准备工作

首先从github下载GPT-2的程序和部分已经训练好的模型

GPT-2模型

在下载好之后，将程序解压到制定位置，注意路径尽量不要包含中文

二、文本生成

我们先打开命令行设置路径到对应位置
在这里插入图片描述
在生成文本时，使用generate.py文件，其中有一些参数可以配置，在生成效果不好时可以调节，–save_samples用于保存生成的文本阳样例
在这里插入图片描述

三、模型训练

当进行模型训练时，使用train.py文件，在运行之前，要先选择需要训练的语料，在上面的连接中已经有可用的语料可以下载

下载好语料后，将语料放到/data/train.json文件中，注意要保证文件格式正确

做好准备工作后，就可以开始训练了，运行上一级目录的train.py开始训练，如果电脑性能不足，可以调低其中的部分参数
在这里插入图片描述
下面就是训练过程，等待全部结束就可以得到训练好的模型了
在这里插入图片描述

总结

到此为止本文简单介绍了GPT-2模型训练的操作方法，测试训练完成的模型的实际效果需要更多的实践来积累经验，后续会对于GPT模型进行更多的介绍。

『NLP学习笔记』图解 GPT-2(可视化 Transformer 语言模型)
AI新视界
02-27 748
今年，我们看到了机器学习令人眼花缭乱的一些应用。OpenAI的GPT-2展现出了惊人的写作能力，其生成内容的连贯且富有感情，超出了我们对目前语言模型的预期。GPT-2其实并不是一种新型架构，他的结构类似于只有解码器的Transformer。GPT-2是一个基于Transformer的巨大的语言模型，并在庞大的数据集上进行了训练。在这篇文章中，我们将看一下是什么构造能让它具有如此性能；我们将深入解析它的自注意力层；最后我们会看一下语言模型之外的仅有解码器的Transformer的应用。
NLP-预训练模型-GPT系列：GPT-1(2018-06)、GPT-2(2019-02)、GPT-3(2020-05)、InstuctGPT(2022-01)、chatGPT(2022-11)
u013250861的博客
12-08 2535
--强调Few-shot 就是连finetune都剩了，巨大的参数空间，可以直接few-shot甚至zero-shot。----强调Unsupervised Multitask就是说下游任务fintune的时候不用重新调整模型结构了。
训练自己的GPT2-Chinese模型
zZZxiaozhi的博客
03-09 1万+
基于GPT2-Chinese训练中文文本模型
NLP模型应用之三：GPT与GPT-2
谢彦的技术博客
02-12 3833
GPT模型 GPT全称Generative Pre-Training，出自2018年OpenAi发布的论文《Improving Language Understandingby Generative Pre-Training》，论文地址：https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf。 在自然语言处...
使用深度学习模型创作动漫故事，比较LSTM和GPT2的文本生成方法
deephub
09-08 5640
这个项目的动机是想看看在短短的几年时间里NLP领域的技术已经走了多远，特别是当它涉及到生成创造性内容的时候。通过生成动画概要，我探索了两种文本生成技术，首先是使用相对陈旧的LSTM，然后使用经过微调的GPT2。 在这篇文章中，您将看到AI创建这种废话开始的过程。。。 A young woman capable : a neuroi laborer of the human , where one are sent back home ? after defeating everything being
GPT2-Chinese：中文的GPT2训练代码
热门推荐
yaohaishen的专栏
01-19 2万+
推荐一个中文的GPT2项目Chinese version of GPT2 training code, using BERT tokenizer.作者提供了一份中文的GPT2训练代码，使用BERT的Tokenizer。可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。以下来在该项目主页描述。Chinese version of GPT2 training code, using BERT tokenizer. It is based on the extremely aw
GPT-2中文文本训练及生成
是木子啦~
05-03 9056
前排感谢这个开源项目：https://github.com/Morizeyao/GPT2-Chinese 原文链接：https://moluuser.com/archives/74/ 记录下运行以上项目的流程。 运行环境 导入语料 由于使用单一文本进行训练，只需要把数据集放置在./data/train.json即可。 如果需要合并txt文本，使用批处理type *.txt>>all.txt即可。 模型训练 python train_single.py --raw 文本生成 python ./ge
关于NLP模型GPT-2的学习笔记（二）
bjwhile的博客
03-20 370
关于NLP模型GPT-2的学习笔记（二） 文章目录关于NLP模型GPT-2的学习笔记（二）前言一、GPT-2基本机制二、GPT-2数学模型总结 前言 上一次我们介绍了GPT模型的基本结构，下面对于GPT的基本工作流程进行介绍： 一、GPT-2基本机制 GPT-2 可以处理最长 1024 个单词的序列。每个单词都会和它的前续路径一起经过所有的解码器模块。 运行一个训练好的 GPT-2 模型，最简单的方法就是让它自己随机工作（生成无条件样本）。我们也可以给它一些限制条件，让它生成一些关于特定主题的文本（即
关于NLP模型GPT-2的学习笔记（一）
bjwhile的博客
03-20 348
关于NLP模型GPT-2的学习笔记（一） 文章目录前言一、GPT模型是什么？二、NLP模型简介三、GPT模型架构3.1编码器模块3.2译码器模块总结 前言 近期GPT-3的热度在NLP领域很高，因此对于这个模型有了尝试的想法，目前GPT-3的模型和资源还不太多，因此先用GPT-2尝试一下训练模型和文本生成。 一、GPT模型是什么？ 在实践之前，对于GPT模型的基本原理做了一定的了解，下面进行一些简单的介绍。 GPT模型是OPEN-AI构建的自然语言处理模型，其在文本生成上往往能产生超出预料的效果，与B
GPT-3学习简单笔记.md
最新发布
08-20
自然语言处理（Natural Language Processing, NLP）是一门研究人类语言和计算机之间交互的学科，其目标是使计算机能够理解、解释和生成人类语言。随着深度学习技术的发展，NLP 在文本分类、情感分析、机器翻译等领域...
GPT-2解读（论文 + TensorFlow实现）
Magical_Bubble的博客
04-24 1万+
GPT-2是对GPT的一个升级，并且更着重于将思路放在为何pretrain是有用的上面，认为LM本身是一个Multi-task Learner，并且大力用ZSL实验来佐证这个思路。
GPT2模型训练，50w个多轮中文对话语料
datayx的文章
12-17 7034
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayxGPT2 for Chinese chitchat项目描述本项目使用GPT2模型对中...
利用python将txt文件转换为csv
bjwhile的博客
04-05 1万+
利用python将txt文件转换为csv 文章目录利用python将txt文件转换为csv前言实现过程总结 前言 目前深度学习相关的函数库对于大数据的处理基本都是以CSV文件为基础进行的，那么在进行深度学习的处理之前，需要先统一数据文件的格式。 实现过程 在此，我们利用python中的numpy和pandas两个函数库对于txt文件进行格式修改。 首先，我们需要安装所需的函数库，在命令行中找到/python/Script路径用以下指令进行下载。 pip install pandas pip inst
python读取csv文件并添加索引
bjwhile的博客
04-05 1万+
python读取csv文件并添加索引 文章目录python读取csv文件并添加索引前言实现过程总结 前言 对于csv文件进行处理一个重要的步骤是为数据添加索引，方便后续的数据操作 实现过程 这里我们使用pandas库中的read_csv()函数，在读取csv数据的同时可以对其添加行索引和列索引。 import pandas as pd obj=pd.read_csv('testdata.csv') print(obj) read_csv()不对属性进行设置的缺省状态下，对于csv文件进行读取操作
Python将PDF按页转换为图片
bjwhile的博客
08-01 4019
有时我们需要将PDF转换为图片做一些处理，一部分PDF阅读器例如Acrobat具备类似的功能，但是软件不同版本的功能有一定的差异，使用Python处理各类文件更加方便。本次分享了使用Python将PDF转换为图片的方法，通过multiprocess等工具库可以批量处理PDF文件，进一步提高效率。...
下载安装python函数库
bjwhile的博客
09-21 3889
下载安装python函数库 文章目录下载安装python函数库前言一、函数库下载二、函数库安装总结 前言 由于最近电脑坏了所以python需要重新下载安装需要的函数库，通过命令行pip install直接下载函数库因为网络问题经常出现失败的情况，所以查找了有没有比较好的下载函数库的资源和方法，下面以numpy库为例进行下载安装步骤的介绍 一、函数库下载 首先是我找到的可以下载函数库安装包的网站，上面有常用的python库whl文件资源 https://www.lfd.uci.edu/~gohlke
python用matplotlib显示数据
bjwhile的博客
04-06 3468
python用matplotlib显示数据 文章目录python用matplotlib显示数据前言一、Python的数据显示二、实现步骤总结 前言 数据可视化是数据处理过程中的一个重要流程，有助于对数据整体的特征有一个直观的了解,本次对于用python对数据的显示进行了一些尝试 一、Python的数据显示 目前Python最方便的数据显示库是matplotlib，里面包含了很多用于绘制统计曲线等展现方式的功能。 下面是将一个简单的二维数据通过折线图的形式显示的样例 二、实现步骤 首先需要下载mat
python对文件内容的去重
bjwhile的博客
04-06 2701
python对文件内容的去重 文章目录python对文件内容的去重前言实现步骤总结 前言 很多时候我们获取的数据存在大量重复，重复数据在进一步处理时会降低处理效率，且可能导致错误，因此内容去重是数据处理一个重要步骤。 实现步骤 通过list的set()和sort()函数对于数据进行顺序去重，读取文件夹中的所有文件，生成文件列表，读取文件内容列表，进行去重和按原索引顺序排序。 首先我们需要将所有需要去重的文件列举出来，通过os库的walk()函数可以获取路径下的所有文件和路径名 import os d
中文词云功能实现
bjwhile的博客
04-01 1977
中文词云 文章目录中文词云前言一、词云是什么？二、词云的实现总结 前言 词云是一个统计并展示文本关键内容的方式，因为这种表现手法令人印象深刻，对于这种展示方式有了一定的兴趣并进行了学习。 一、词云是什么？ “词云”就是通过形成“关键词云层”或“关键词渲染”，对网络文本中出现频率较高的“关键词”的视觉上的突出。 词云图过滤掉大量的文本信息，使浏览网页者只要一眼扫过文本就可以领略文本的主旨。 二、词云的实现 这里我尝试了对于中文文本的词云功能的实现，主要使用了wordcloud和jieba两个库，由于w
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值