DataFun: ChatGPT背后的模型详解

最新推荐文章于 2024-07-18 15:53:23 发布
最新推荐文章于 2024-07-18 15:53:23 发布
阅读量1.4k 收藏
点赞数
分类专栏： AIGC 文章标签： 人工智能 大模型 ChatGPT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/131668411
版权

ChatGPT背后的模型详解

Overview

在这里插入图片描述

Transofrmer

在这里插入图片描述
在这里插入图片描述
各个构件都有一定的作用

Multi-head self attention

在这里插入图片描述
每个字的重要性不一样，学习QKV三个矩阵（query，key，value）
在这里插入图片描述
多组QKV
在这里插入图片描述
在这里插入图片描述

RLHF

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ChatGPT训练过程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

思维链 COT

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

uncle_ll
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
datafun：通过单调类型集成datalog和lambda演算的研究
01-31
src/ ：在Racket中实现Datafun。 src/repl.rkt最有用。 接下来是对Datafun类型理论的非常过时的描述。 有关最新信息，请参见。 或者，您可以克隆存储库并在paper/目录中运行make来生成datafun.pdf 。数据娱乐poset ...
DataFun发布《DataFun数据智能知识地图》
03-06
《DataFun数据智能知识地图》是由国内大数据及人工智能开发者社区DataFun发布的，旨在梳理和整合数据智能领域的专业知识。这张知识地图覆盖了四个主要领域：数据采集与治理、数据架构、数据能力以及数据应用，深入...
DataFun:数据基础架构
uncle_ll的博客
07-08 433
模型+特征向量库=应用
DataFun：魔搭社区模型推理调优最佳实践
uncle_ll的博客
02-18 403
modelscope介绍
DataFun:知识图谱在线峰会
uncle_ll的博客
03-18 659
知识图谱峰会
DataFun:知识图谱构建与应用
uncle_ll的博客
12-18 491
dataFun: 知识图谱构建与应用
DataFun：推荐系统峰会
uncle_ll的博客
08-26 286
2023推荐系统峰会
DataFun:图学习论坛
uncle_ll的博客
12-19 206
DataFun: 图学习论坛
DataFun: 微信NLP算法微服务治理
uncle_ll的博客
12-01 476
微信微服务治理
张俊林：万字长文讲述由ChatGPT反思大语言模型的技术精要
zenRRan的博客
01-10 1465
每天给你送来NLP技术干货！作者：张俊林新浪微博 新技术研发负责人来源：知乎@张俊林排版：DataFunTalk导读：ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（LLM,Large Language Model）效果能好成这样；惊醒是顿悟到我们对LLM的认知及发展理念，距离世界最先进的想法，差得有点远。我属于既惊喜又惊醒的那一批，也是典型的中国人，中国人善于自我反思，于...
技术分享：领域大模型的挑战与机遇
Kaiyuan_sjtu的博客
06-24 25
大家好，这里是 NewBeeNLP。本文将介绍复旦大学知识工场实验室关于领域大模型的研究工作。主要内容包括以下几大部分：1.背景2.大模型的领域适配3.大模型的能力提升4.大模型的协同工作分享嘉宾｜梁家卿博士复旦大学青年副研究员出品社区｜DataFun01背景来自 GPT4 的技术报告中指出，GPT4 仍处于通用人工智能（AGI）的初级阶段。而目前研发中的 GPT4.5 或 GPT5...
DataFun技术年货风控反欺诈1
08-03
2.无法给出用户的欺诈风险有多大 3.未考虑用户 2.对缺失 3.针对离散变量的 embeding 尽量不要做 onehot 处理 4.样本量少时，
DataFun技术文章合集.pdf
07-16
DataFun技术文章合集.pdf
datafun蒋卓人.pdf
03-29
datafun蒋卓人
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
wwt72的博客
07-17 731
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
卷积神经网络学习问题总结
weixin_61681867的博客
07-17 499
均方误差函数（MSE）适用于回归任务，如预测房价、预测股票价格等。
园区道路车辆智能管控视频解决方案，打造安全畅通的园区交通环境
TSINGSEE青犀视频官方技术博客
07-16 884
AI智能分析网关V4消防通道占用算法基于人工智能视觉分析技术，通过摄像头实时监测识别是否有机动车违规停放在消防车通道上，并及时提醒管理人员进行处理。
python训练模型报错：BrokenPipeError: [Errno 32] Broken pipe
最新发布
Dxy1239310216的博客
07-18 359
如果问题持续存在，并且你的项目不是必须在 Windows 上运行，考虑在 Unix/Linux 系统上运行你的代码。确保在数据加载器中使用的任何自定义函数或类都是可序列化的，因为多进程需要能够在不同进程间传递它们。进行多进程数据加载时尤其常见，尤其是在 Windows 系统上，因为 Windows 对多进程的支持与 Unix/Linux 系统有所不同。有时候，错误可能是由其他部分的代码引起的，而不是直接由数据加载器引起。如果问题依然存在，你可能需要更详细地检查你的代码或寻求更专业的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值