GPT实战系列-探究GPT等大模型的文本生成

GPT实战系列-探究GPT等LLM文本生成

GPT专栏文章:

GPT实战系列-Baichuan2等大模型的计算精度与量化-CSDN博客

GPT实战系列-GPT训练的Pretraining,SFT,Reward Modeling,RLHF-CSDN博客

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

LLM文字创作与人类有什么不同?

  • 人类是如何进行文字创作的?一个有趣的例子就是:写文章。大致有思考兴趣点,构思,篇章与逻辑整理,落笔,修改等过程。过程中一步接一步思考,甚至借用外部工具,搜索资料,计算,验证等过程。回答问题,说话之前往往也会再三思考。
  • LLM语言模型生成文本的方式,依据上下文条件,逐步生成下一个 token,每个 token 计算时间一样,不确定生成的正确性。缺乏前后思考。
思考链(Chain of thought,CoT)
  • 需要推理的任务可以使用 CoT,构造一种思考范式,指明文本生成方向,划分槽位,transformer 需要更多上下文来思考。以 few-shot prompt 为例,让模型以 step-by-step 方式生成。目前也有 zero-shot-CoT,最经典的方式就是使用 Let’s think step by step 作为提示词。
一致性(self-consistency)
  • 一致性,有时候生成也会掉到坑里,出不来。比如 transformer 在采样到一个不好的 token 后就很难恢复。
反省(Ask for reflection)
  • 通过灵魂拷问,问 “你完成任务了吗?” 这个问题,让 ChatGPT 对不好的问题进行反思并生成更好的回复。
思考系统2
  • 在《快思考,慢思考》中提到有快思考系统和慢思考系统,Tree of Thoughts(思考树):建议为给定的 prompt 生成多个思路,然后对它们进行评分,并保留好的思路。

扩展LLM能力

代理Chains/Agents
  • React:将任务分解成一系列思考、行动、观察、思考、行动、观察的过程,通过思考来进行问题回复,过程中允许调用外部工具完成任务,比如 google 搜索 API。
使用工具 ( Plugins)
  • 为 ChatGPT,等LLM大模型提供计算器、代码解释器、搜索等工具,协助做 LLM 不擅长的任务。需要调用外部工具的地方需要人为标注出来。
基于检索增强 LLM 能力
  • 获取相关文档,将文档分为块,提取得到数据的 embedding 向量,存储到向量库中。
  • 在测试时,查询向量存储,获取与相关的文档,获得搜索结果。
约束提示(Constrained prompting)
  • 在 LLM 的输出中强制使用特定格式生成的技术。比如,让 LLM 填写一个 json 模板中的内容,其中 json 的 key 是写死的,LLM 负责填补一些空白的 key,这些 key 可以提前进行一些约束,让 LLM 的采样空间受到限制,即能让 LLM 的输出符合预设定的格式。

点个赞 点个赞 点个赞

觉得有用 收藏 收藏 收藏

End


GPT专栏文章:

GPT实战系列-Baichuan2等大模型的计算精度与量化-CSDN博客

GPT实战系列-GPT训练的Pretraining,SFT,Reward Modeling,RLHF-CSDN博客

GPT实战系列-GPT训练的Pretraining,SFT,Reward Modeling,RLHF

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(二)

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(一)

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-ChatGLM2模型的微调训练参数解读

GPT实战系列-如何用自己数据微调ChatGLM2模型训练

GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

决策引擎专栏:
Falcon构建轻量级的REST API服务

决策引擎-利用Drools实现简单防火墙策略

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
智慧校园建设是在国家政策推动下,为深化教育改革、提升教育质量和管理效率而提出的重要项目。该项目旨在通过信息化手段,解决传统教育中存在的资源分散、管理混乱等问题,实现教育资源的高效利用和教学质量的全面提升。 目前,教育信息化虽取得一定进展,但面临“孤岛架构”的挑战,包括硬件资源无法共享、数据孤岛、应用孤岛等问题,导致资源浪费和管理效率低下。为此,智慧校园的建设目标聚焦于家校沟通便捷化、校园管理科学化、校园生活轻松化、课堂教学互动化和校园设施智能化,以提高教学效率和学生学习体验。 智慧校园的核心价值在于构建先进的网络教学平台和管理信息系统,实现教学资源的高效配置和利用,促进师生互动,提高管理效率,降低成本,构建健康高雅的生活环境。解决方案涵盖综合应用平台规划、系统架构设计、媒体发布、数字会议系统等,通过后台服务层、基础接入层和用户接入层的有机结合,实现智慧校园的全面功能。 智慧校园管理平台作为核心组成部分,提供模块化体系,包括公开课、直播、教学资源等23大应用,支持与第三方接口对接,实现多级管理。电教预约管理平台通过移动端APP或web后台简化预约流程,提高教室和会议室资源利用率,支持会议预订、审批、信息发布和环境管控。 教育录播系统和云平台支持教师制作和分享优质教学资源,进行在线组卷和评卷,同时提供学生应用,如高清视频录制、在线直播和互动交流,促进教学资源的共享和教育均衡化发展。这些系统的整合应用,将极大地推动教育信息化进程,实现教育资源的最大化利用和教育质量的全面提升。
GPT-2模型是深度学习和自然语言处理领域的最新技术之一。它是一个从海量文本数据中训练出来的智能算法,可以用来自动化生成文本内容,具有很高的可读性和流畅性。 GPT-2模型文本生成实践的开展主要依赖于大量的数据集和强大的计算资源。首先,应该选择一个适当的数据集,它应该是在相似的话题、领域、语种下尽可能广泛和详尽的。数据集可以来源于一些公开的数据集,也可以从网络上自己收集和提取。 将这个数据集放进去训练的过程可以用transformer技术,包括一系列编码层和解码层,以便更好地掌握模型的各种特征和规律。训练过程的时间和速度取决于模型的规模和复杂性,因此应该选择适合自己的计算资源。 还应该注意,模型生成结果可能不一定完全符合人们的语言习惯和文化背景。在使用GPT-2模型生成文本内容时,要先确定自己的目标和需求,然后尽可能减少模型的错误率。 在实践当中应该尽可能利用一些先进的文本分析、语言处理、自然语言生成、自然语言理解、机器学习等技术,以便更好地掌握和利用GPT-2模型背后的原理和方法,生成更加精确、高效、可靠的文本内容。 总之,GPT-2模型文本生成实践需要深入理解和应用自然语言处理等相关技术,并且需要持续不断地改进和完善,以便更好地满足各种文本生成需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alex_StarSky

你的鼓励是创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值