python-中文闲聊的GPT2模型首次使用笔记

已于 2023-07-18 15:14:07 修改
阅读量437 收藏
点赞数
分类专栏： python pytorch 文章标签： python 笔记 开发语言
于 2023-07-18 15:00:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60688978/article/details/131786515
版权
本文介绍了如何使用Python运行和训练GPT2模型进行中文闲聊。项目地址位于GitHub，包括模型下载、运行已训练模型的步骤以及数据预处理和模型训练的方法。
摘要由CSDN通过智能技术生成

项目地址

https://github.com/yangjianxin1/GPT2-chitchat

运行项目

  1. 下载bin模型地址
    https://github.com/yangjianxin1/GPT2-chitchat#model_share
  2. 将下载的模型放在model文件夹中或者model/epoch40中
  3. 运行已经训练好的模型
python interact.py --no_cuda --model_path model_epoch40_50w (使用cpu生成，速度相对较慢)
或
python interact.py --model_path model_epoch40_50w --device 0 (指定0号GPU进行生成，速度相对较快)

如何准备自己的资料

  1. 文本格式
    参照项目的数据预处理
  2. 预处理后进行tokenize
    参照项目的数据预处理
python preprocess.py --train_path data/train.txt --save_path data/train.pkl
  1. 拿到pkl后训练模型
    参照项目的训练模型章节，就会得到bin模型
python train.py --epochs 40 --batch_size 8 --device 0,1 --train_path data/train.pkl
liwulin0506
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解锁ChatGPT：从原理探索到GPT-2的中文实践及性能优化
忆_恒心的博客
06-08 352
在当今的人工智能领域，ChatGPT已成为一个炙手可热的话题。作为OpenAI的一项革命性成果，ChatGPT不仅在理论研究上取得了突破，也在实际应用中展示了巨大潜力。本文将深入剖析ChatGPT的核心机制，探讨基于GPT-2模型的实际操作经验，以及如何通过技术手段优化模型以适应中文处理的挑战。我们将通过技术细节揭示这一前沿技术如何改变与AI的交互方式，带来更加智能化的应用体验。
多模型语言python_GPT2 多语言支持, 15亿参数中文预训练模型
weixin_39648469的博客
11-30 508
GPT2 for Multiple Languages Simplifed GPT2 train scripts（based on Grover, supporting TPUs）Ported bert tokenizer, multilingual corpus compatible1.5B GPT2 pretrained Chinese model ( ~15G corpus, 10...
PyTorch实战：探索GPT-2预训练模型与文本生成技巧
最新发布
qq_3213559056_qq的博客
06-09 202
在本次将学习另一个有着优秀表现的预训练模型：GPT-2 模型，以及使用它进行文本生成任务实践。知识点GPT-2 的核心思想GPT-2 模型结构详解GPT-2 进行文本生成OpenAI 在论文中提出了 GPT 模型。GPT 模型是由单向 Transformer 的解码器构建的模型，OpenAI 团队在一个非常大的书籍数据集上对其进行了无监督预训练。而后，OpenAI 团队又提出了GPT-2 模型。
gpt-2-simple：Python软件包，可以轻松地在新文本上重新训练OpenAI的GPT-2文本生成模型
02-06
gpt-2-简单 一个简单的Python程序包，用于包装的（特别是“小” 124M和“中” 355M超参数版本）的现有模型微调和生成脚本。 此外，此程序包允许更容易地生成文本，生成到文件以方便管理，并允许使用前缀来强制文本以给定短语开头。 该软件包合并了以下内容并对其进行了最少的低级更改： 来自OpenAI的存储库的模型管理（MIT许可证） 从Neil Shepperd的GPT-2进行模型微调（MIT许可） 来自文本生成输出管理（MIT许可，也由我创建） 为了进行微调，强烈建议使用GPU，尽管您可以使用CPU生成（尽管速度要慢得多）。 如果您是在云端进行训练，则强烈建议使用带有映像
利用GPT2生成莎士比亚写作风格的文本（python实现）
weixin_47492805的博客
06-06 828
利用GPT2生成莎士比亚写作风格的文本（python实现）。GPT2模型就用了这种只包含编码器（decoder-only）的模块。想要运行一个训练好的 GPT-2模型，最简单的方法就是让它自己随机工作（从技术上说，叫做生成无条件样本）。换句话说，我们也可以给它一点提示，让它说一些关于特定主题的话（即生成交互式条件样本）。
基于python的GPT2中文摘要生成模型代码实现
03-26
基于python的GPT2中文摘要生成模型代码实现
完全图解GPT-2：看完这篇就够了（二）
03-28 1180
在本系列文章的第一部分中，我们回顾了 Transformer 的基本工作原理，初步了解了 GPT-2 的内部结构。在本文中，我们将详细介绍 GPT-2 所使用的自注意力机制，并分享只包含解码器的 transformer 模型的精彩应用。 选自http://github.io，作者：Jay Alammar，机器之心编译，参与：陈韵莹、Geek AI。 第二部分：图解自注意力机制 在前面的文章中...
Python-GPT2训练的一个实现支持GPUs和TPUs
08-09
GPT2训练的一个实现，支持GPUs和TPUs
利用GPT2训练中文闲聊模型
SinGaln的博客
04-12 3097
利用GPT2模型来做一个小说生成器 最近看了一下GPT2模型，看到很多博主都用来写诗歌，做问答等，小编突然萌生一个想法，利用GPT2来训练一个小说写作器。各位，敬请期待，等小编的小说上架了，欢迎来看！！ 文章目录利用GPT2模型来做一个小说生成器前言一、小说数据的构建二、模型搭建总结 前言 本来想用清源CPM预训练模型来进行的，可惜硬件条件不够，只能用中GPT模型来训练一个专门写小说的模型了。硬件条件好的小伙伴，推荐你们使用CPM来做，看别人做的效果还是不错的，清源CPM的模型有4.47G，小伙伴们量
python基于开源GPT2.0的创作型人工智能可扩展可EssayKiller_V2-master.zip
04-22
python基于开源GPT2.0的创作型人工智能可扩展可EssayKiller_V2 框架说明 基于EAST、CRNN、Bert和GPT-2语言模型的高考作文生成AI 支持bert tokenizer，当前版本基于clue chinese vocab 17亿参数多模块异构深度神经网络，超2亿条预训练数据 线上点击即用的文本生成效果demo：17亿参数作文杀手 端到端生成，从试卷识别到答题卡输出一条龙服务 Colab线上作文生成功能 国内没有足够显存的免费GPU平台，所以配合Google Drive将训练好的AI核心功能Language Network写作模块迁移到Colab。 当前线上仅开放文本生成功能，输入对应句子，AI返回生成文章。同一个句子可以输入多次，每一次输出都不同。也可以选择同时生成多篇文章。 模型结构 整个框架分为EAST、CRNN、Bert、GPT-2、DNN 5个模块，每个模块的网络单独训练，参数相互独立。infer过程使用pipeline串联，通过外接装置直接输出到答题卡。
GPT2-Chinese 优化显示和权重保存
01-19
GPT2-Chinese 附带科幻书籍语料 无权重
大模型学习笔记七：LLM应用
谢白羽
03-20 1226
1）管理一个 LLM 应用的全生命周期，需要用到以下工具：1、调试 Prompt 的 Playground2、测试/验证系统的相关指标3、数据集管理4、各种指标监控与统计：访问量、响应时长、Token费等等2）根据自己的技术栈，选择：1、LangFuse：开源平台，支持 LangChain 和原生 OpenAI API2、LangSmith: LangChain 的原始管理平台3、Prompt Flow：开源平台，支持 Semantic Kernel。
人工智能_大模型023_AssistantsAPI_01_OpenAI助手的创建_API的调用_生命周期管理_对话服务创建---人工智能工作笔记0159
添柴程序猿的专栏
04-08 590
先来说一下一些问题:尽量不要微调,很麻烦,而且效果需要自己不断的去测试.如果文档中有图表,大量的图片去分析就不合适了.是否用RAG搜索,这个可以这样来弄,首先去es库去搜能直接找到答案可以就不用去RAG检索了,也可以设置一个分,如果低于60分,那么就可以去进行RAG检索微调没有那么容易,需要的数据量也大,对数据质量要求也高.claude3已经超过了ChatGPT4,并且,可以一次提问的,发送的文本达到了15万字,那么以后。
开源中文大语言模型集合【2023-06-19】
u013250861的博客
06-20 1233
整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。
文本生成入门：使用Python和GPT-2生成自然语言文本
Programming Talk
02-21 684
文本生成是自然语言处理领域的一个重要任务，它涉及使用计算机生成自然语言文本，如文章、故事、对话等。GPT-2是OpenAI开发的一个强大的文本生成模型，它基于Transformer架构，能够生成高质量、连贯的自然语言文本。本文将介绍如何使用Python编程语言和GPT-2模型来生成自然语言文本。
使用 GPT-2 生成文本
热门推荐
sikh_0529的博客
09-10 1万+
此外，像 GPT-2 这样的语言模型反映了他们所训练的系统固有的偏见，因此我们不建议将它们部署到与人类交互的系统中 > 除非部署者首先对与预期相关的偏见进行研究用例。我们发现 774M 和 1.5B 之间的性别、种族和宗教偏见调查在统计上没有显着差异，这意味着在处理对人类属性的偏见敏感的用例时，应该以类似的谨慎程度对待所有版本的 GPT-2。然而，该模型最擅长的是它的预训练，即从提示中生成文本。因为像 GPT-2 这样的大规模语言模型不能区分事实和虚构，所以我们不支持要求生成的文本是真实的用例。
python调用GPT全记录
yxx35AN的博客
07-24 879
python调用GPT全记录
基于python写一个GPT-2预训练模型
04-05
要使用Python编写GPT-2预训练模型，您需要掌握以下技能： 1. Python编程语言 2. 深度学习框架，如TensorFlow或PyTorch 3. Transformer模型的理解和使用 4. 自然语言处理（NLP）的基本概念 以下是一些可能有用的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值