ChatGPT基础知识、处理流程和参数（1）

已于 2024-05-02 15:57:27 修改
阅读量355 收藏 6
点赞数 4
分类专栏： ChatGPT基础 文章标签： 深度学习 人工智能 chatgpt
于 2024-05-02 15:56:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50079897/article/details/138393097
版权


tips:B站ChatGPT详细解释视频–笔记记录
ChatGPT详细解释视频

1.基本名词

  • 标量：单个的数值，只有大小而没有方向

  • 向量：一组有序的数值，表示某种量的大小和方向

  • 张量：向量的泛化，多维数组， 表示某种量的大小和方向

  • 词向量：词的向量化，赋予一个词、字其一系列评分/取值，而多个词就组成了一个张量，其中GPT-3 175B 的词向量的长度为12288

  • Token：子词，可以共享单词之间的共同语义结构

  • 对于中文来说，Token可以使词组、词、字、偏旁以及部首

  • 超参数【事先设定的】、参数【训练过程自动习得】

  • GPT：迭代预测下一个词向量

  • transformer结构：Encoder–Decoder

    更具体一点：

2.GPT总体结构
输入处理

在这里插入图片描述

解码器

可以看到GPT的解码器和transform模型结构相差一个解码注意力层
在这里插入图片描述

其中自注意力子层：1.捕捉输入序列的相互之间的依赖、相互之间的关系；2.捕捉全量的、长距离的输入序列的语义表示和语义依赖

前馈神经网络： 捕捉输入序列的整体的、隐藏的、复杂的、组合的语义表示

自注意力子层

在这里插入图片描述

多头自回归自注意力机制

注意力机制：输入序列和输出序列之间的注意力。

自注意力机制：输入序列自身。

自回归/单向/因果：只能看到自己左边的字。

多头：分成多个头，分别取注意不同的语义表示。

自注意力头处理过程：

在这里插入图片描述

自注意力层剩余部分处理：

在这里插入图片描述

前馈神经网络子层

在这里插入图片描述

输出处理：

在这里插入图片描述

参数计算

在这里插入图片描述

William3242
关注
专栏目录
ChatGPT基础知识系列之一文说透ChatGPT
2401_84052244的博客
04-27 139
ChatGPT是什么？既然ChatGPT是语言模型，语言模型是什么？通过强化学习训练，强化学习又是什么？ChatGPT一个问题是只能回答2021年前的问题。模型无法获取近期的知识，将ChatGPT+webGPT结合是一个可以想到的方案。DeepMind提出的Sparrow就是一个参考，Sparrow model针对对话内容模型生成结果并判断是否搜索互联网,以提供更多的正确参考答案，用强化学习算法去优化Sparrow的输出结果。
自己动手做chatGPT：向量的概念和相关操作
tyler_download的专栏
03-16 8115
介绍深度学习算法中最基本单元向量，为开发chatGPT模型大小基础
ChatGPT模型常用参数设置(temperature, max_tokens, presence_penalty, frequency_penalty, top_p, n)
最新发布
SAP领域技术博客
08-08 2213
本文介绍了ChatGTP模型参数设置的一些经验
【chatGPT】关于参数的理解（来自chatgpt）
keira674的博客
01-26 813
*权重（Weights）：**权重可以类比为神经元之间的连接强度。权重越大，则两个神经元之间的连接越强，信号传递也就越强。**稀疏性：**稀疏性可以类比为模型的紧凑程度。稀疏性越高，则模型越紧凑，所需的计算量和存储空间也就越少。**非线性：**非线性可以类比为模型的行为复杂性。非线性越高，则模型的行为越复杂，能够处理的任务也就越多。**参数数量：**参数数量可以类比为模型的复杂程度。参数数量越多，则模型越复杂，能够处理的任务也就越多。**偏差（Biases）：**偏差可以类比为神经元的激活阈值。
chatgpt接口返回参数分析
红尘炼炼心的博客
06-01 3087
接口请求使用二进制请求，数据流式返回，即分块（分批次）返回。问题：一周有几天。
NLP--ChatGPT的API参数总结【实践】
故事猝不及防，发量秃如其来
05-22 3573
ChatGPT的在各项任务下的参数进行了总结、实践，对每个参数知其然、知其所以然，也对每个任务下模型的token花费进行总结。
高效使用ChatGPT技术的工作流程.docx
07-21
ChatGPT技术是一种先进的自然语言处理模型，由OpenAI公司开发，旨在实现与人类相似的对话交互体验。高效利用ChatGPT技术对于提升工作效率和提升用户体验至关重要。以下将详细阐述如何构建高效的工作流程： 1. **...
ChatGPT模型的训练流程详解.docx
07-23
ChatGPT作为一种先进的自然语言处理技术，其背后的训练流程是一个复杂而精细的过程。本文将深入探讨ChatGPT的训练流程，包括预训练、微调以及人类评估三个关键阶段。 ### 一、预训练阶段 #### 1.1 目标与原理 预...
ChatGPT技术的数据清洗和预处理流程.docx
08-16
总结来说，ChatGPT技术的数据清洗和预处理是确保模型质量的基础工作。通过对噪声数据的剔除、敏感内容的过滤、文本的规范化处理以及数据集的合理划分，可以有效地提高模型的准确性和连贯性。随着数据规模的扩大和...
ChatGPT基础知识系列之大型语言模型(LLM)初识
2401_84052244的博客
04-27 138
通过海量数据训练得到的超大参数模型蕴含了海量知识，以GPT3（175B）开端，再到LaMDA（137B）、Gopher（280B）、FLAN-T5（540B）等，业界对于LLM的探索和应用，以及如何挖掘其学到的知识，引导它们适配不同子任务达到最先进结果（state-of-the-art result，sota），一直是近两年一项极具价值及热门的工作。但LLMaaS的盈利模式并不成熟，尚待检验，合理的模式应该需要涉及用户分层，而非全量用户的铺展，这些均增添了较多不确定性，此为应用层面的挑战。
GPT实战系列-ChatGLM2模型的微调训练参数解读
Alex_StarSky的博客
10-31 4675
ChatGLM-6B是开源的文本生成式对话模型，基于General Language Model(GLM)框架，具有62亿参数，FP16 半精度下，ChatGLM-6B 需要 13GB 左右的显存进行推理。 文章对P-Tuning的训练参数进行详细解读，有助于微调、训练的顺利开展。
ChatGPT 3.5与4.0：深入解析技术进步与性能提升的关键数据
weixin_51591826的博客
02-07 5043
详细比较两个引人注目的ChatGPT版本——3.5和4.0，通过一些关键数据来深入解析它们之间的差异以及4.0版本的技术进步
ChatGPT量化分析
xzq_qzx_的博客
03-20 1057
当今，随着深度学习模型规模的不断增大和计算资源的不断提升，大模型已经成为了人工智能领域的一项重要趋势。大模型在各种任务中展现出了卓越的性能，例如自然语言处理、计算机视觉、语音识别等领域。然而，随着模型规模的增加，模型的计算量和参数数量也随之增长，导致了对计算资源的巨大需求。因此，为了在有限的计算资源下使用大模型，模型量化技术变得至关重要。模型量化是指将深度学习模型的参数和计算过程转化为低比特位的表示形式，从而在减少计算资源消耗的同时尽可能地保持模型的性能和精度。
ChatGPT新一代人工智能
m0_53898287的博客
12-22 9537
ChatGPT是由OpenAI开发的一种大型语言模型，它能够通过对语言的自然处理来回答问题、产生文本和执行其他的任务。ChatGPT是基于GPT-3（Generative Pre-training Transformer 3）模型构建的，GPT-3是目前为止最大的自然语言处理模型。它使用了大量的训练数据和多层的神经网络架构，能够对自然语言进行高精度的处理。ChatGPT可以进行自然语言对话，回答用户的问题，并能够产生自然语言文本。它可以用于各种应用场景，比如聊天机器人、客服系统、自然语言处理等。
从GPT到chatGPT（三）：GPT3（二）
gzt940726的博客
02-16 4847
因为上一篇文章阅读量挺高，给了我继续更新对该论文进行解读的莫大动力。这篇文章主要讲原论文的第三章（Results），讲的是GPT3在9个不同类型的数据集上表现如何。其实对于包括我在内的大多数读者或工程师来说，模型的实际效果才是最重要的，所以也很有必要好好地来看看这一章的内容。另外，下文中我尽可能以翻译为主，个人理解为辅的方式来进行，所以会以作者的第一人称来叙述。
基于ChatGPT+词向量/词嵌入实现相似商品推荐系统
Jay_Josby的博客
10-10 924
可以看到回答中的语义比原有描述"WIENER A/B 7IN 5/LB FZN"清晰了很多，试验下来推荐准确率比直接用原有描述高了很多，但是回答中仍然包含很多“废话”——介词/连词/符号其实都没有什么语义在里面，最后比较下来，直接用三种可能的商品名(比如'[答案1:熏肠，答案2:烤肠，答案3:火腿]')生成embedding效果最好。使用Redis存储，Redis可以做内存KNN，并有版本对向量计算做了优化(似乎叫Stack，这块不是我做的)使用ChatGPT扩展语义，类似以下prompt。
【ChatGPT4】 NLP（自然语言处理）第五课 三种向量词思考
qq_40717065的博客
04-04 751
（AI：是的，这句话的意思是在Word2Vec和GloVe等词向量模型中，每个单词被视为一个独立的标识符，并且被映射到向量空间中的唯一向量表示。因此，对于一个罕见的单词，它的向量表示可以通过其子词的向量表示进行平滑，并且可以根据这些子词在语料库中的出现频率来加权平均，从而得到更准确的向量表示。通过将每个单词拆分为多个子词，并将每个子词嵌入到向量空间中，FastText可以更好地处理罕见的或未知的单词，因为即使某个单词在训练数据中没有出现过，它的子词仍然可以提供有用的信息，从而使得该单词的向量表示更加准确）
关于ChatGPT（一）
m0_60500450的博客
02-15 135
再有文字→绘画领域，还有主代码领域的Codex，有一种说法：ChatGPT的推理能力来自代码训练。目前看LLM所能达到的成就是划时代的。下围棋的结果是有输赢的，然后加强学习，AlhpaGo之类的可以快速达到相当高的成就。深度神经网络到transformer的自注意力机制，之后就是encoder端(结合上下文)和decoder端(mask掩盖下文)的不同方向。之前学习+工作的AI/NLP，主要就Bert实现了大一统。再就是传统的机器学习算法也有老市场+快速等优势。高质量+大量的语料是大语言模型学习的内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值