古诗生成AI实战
文章平均质量分 91
古诗生成AI实战
征途黯然.
Hold me hard and mellow.
展开
-
【古诗生成AI实战】之五——加载模型进行古诗生成
这部分是项目中非常激动人心的一环,因为我们将看到我们的模型如何利用先前学习的知识来创造出新的古诗文本。这是一个重要的里程碑,因为训练好的模型是我们进行文本生成的基础。* 生成文本:从初始文本(例如“天”)开始,逐字生成新的文本,直到达到指定长度(如32个字符)。在这部分内容中,我们将探讨如何使用预训练的模型来生成文本,例如古诗。:输入四个字ABCD,手动在第1、9、17、25个位置赋值A、B、C、D,其余部分由模型生成。现在,接下来的步骤是加载这个训练好的模型,然后使用它来生成古诗。原创 2023-11-27 00:10:12 · 3480 阅读 · 16 评论 -
【古诗生成AI实战】之二——项目架构设计
值得注意的是,虽然第三方Word2Vec库通常非常庞大,大约有1GB的大小,并且包含了30万到100万个单字和词汇,但我们的字典大小大约只有7千左右(比如,Bert的词典大小也只有3万)。例如,如果输入序列是[B,床,前,明,月,光,E],那么我们将这个序列向左偏移一个单位作为训练标签,即目标序列是[床,前,明,月,光,E,E]。这个生成过程非常有趣,因为它不仅展示了模型学习古诗的结构和语言风格的能力,而且还允许我们以创造性的方式使用模型,无论是模仿经典古诗风格,还是创作全新的诗句。原创 2023-11-27 00:09:03 · 3086 阅读 · 3 评论 -
【古诗生成AI实战】之三——任务加载器与预处理器
在构建词汇表的过程中,预处理器会在每个文本样本的前后分别添加开始和结束标记,这有助于模型理解文本的边界。这种设计不仅适用于我们当前的古诗生成任务,还可以方便地应用于其他类型的文本任务,比如文本分类任务,或是适配transformers库中的模型(例如Bert、GPT)。在本项目中,由于我们只使用了大约7千个词,所以我们需要从这些庞大的word2vec库中提取出仅与我们词典中存在的字词相对应的向量。的类,这个类的核心作用是处理不同类型的数据集,比如训练集、验证集和测试集,以及对单个文本样本的特定处理。原创 2023-11-27 00:09:27 · 2931 阅读 · 0 评论 -
【古诗生成AI实战】之四——模型包装器与模型的训练
中存储的正是这些词的概率。为了生成文本,我们提取每个位置上概率最高的词的索引,然后根据这些索引在词典中查找对应的词。此外,为了提高配置的灵活性和可维护性,我们将所有的配置项(如批量大小、数据集地址、训练周期数、学习率等)抽取出来,统一放置在一个名为。为此,我们采取了进一步的措施:在模型外面再套上一个额外的层,我称之为模型包装器。的含义是:对于每个批次中的文本,每个文本在序列的每个位置上,都有vocab_num个可能的词可以填入,而。类是围绕一个神经网络语言模型的封装器,提供了模型的初始化和数据处理的方法。原创 2023-11-27 00:09:50 · 3073 阅读 · 3 评论 -
【古诗生成AI实战】之一——实战项目总览
了解PyTorch的基本操作,如张量的处理、模型的构建和训练过程,对于后续实战项目至关重要。这些知识不仅是本项目的基础,也是进入AI领域的基本要求。无论你是AI领域的新手,还是有一定基础的学习者,这个项目都能为你提供宝贵的学习机会。这些技术不仅可以应用于古诗创作,还能为你日后的相关AI项目打下坚实的基础。准备好这些知识后,你将更有信心和能力投入到实战项目中,不仅能够理解项目的核心机制,还能够根据自己的需求进行创新和调整。这不仅有助于优化古诗生成的效果,还能让你更好地理解和掌握AI模型的工作原理。原创 2023-11-27 00:08:25 · 3302 阅读 · 1 评论