- 博客(16)
- 收藏
- 关注
RSS订阅原创 GPT-3的基于Transformer的架构
GPT-3（Generative Pre-trained Transformer 3）的架构是基于Transformer的，这是一种自然语言处理领域的创新性模型架构，为处理序列数据，尤其是文本数据，提供了强大的能力。初始的Transformer架构设计用于序列到序列（sequence-to-sequence）任务，比如机器翻译，其中输入序列被转换为输出序列。例如，GPT-3使用了一种被称为“仅解码器”Transformer的变体，其中去除了编码器，自注意机制仅在解码器堆栈中使用。
2023-08-16 11:47:31
562
1
原创 大型语言模型（基于GPT架构）的关键组件和结构
4.预训练和微调：像GPT-3这样的大型语言模型经历两个主要阶段：预训练和微调。在预训练期间，模型会接触到来自互联网的大量文本数据，并学习根据上下文预测句子中的下一个单词。值得注意的是，像 GPT-3 这样的大型语言模型是资源密集型的，需要大量的计算能力来进行训练和推理。这意味着它们缺少典型 Transformer 架构中的“编码器”部分，因为 GPT 模型主要是为自回归语言生成而设计的。6.注意力掩模：为了确保模型在自回归生成过程中不会“作弊”和窥视，注意力掩模用于防止模型在训练期间关注未来的标记。
2023-07-25 11:03:27
483
原创 大模型（大型语言模型，LLM）
GPT-3 是“Generative Pre-trained Transformer 3”的缩写，是迄今为止最先进的语言模型之一，拥有数量惊人的参数（1750 亿）。这些参数代表模型在预训练阶段获得的“知识”或“经验”，在预训练阶段模型会接触到来自互联网的大量文本数据。大型语言模型，也称为“大规模语言模型”，是指旨在处理和理解人类语言的人工智能（AI）模型。这些模型是更广泛的自然语言处理 (NLP) 领域的一部分，能够执行各种与语言相关的任务，例如文本生成、翻译、情感分析、语言理解、问答等。
2023-07-25 10:56:19
1160
原创 云科技入门学习路径
这个路径适合没有任何云计算背景的人士学习，以亚马逊云科技云为例，介绍云基础知识，包括云的基础设施、计算、存储、数据库、联网、安全性和监控。还可以帮助您为 Amazon Web Services Certified Cloud Practitioner 认证考试做好准备。
2023-02-07 10:45:26
217
原创 可达矩阵（accessibility matrix）
import numpy as npinputdata=[[1,1,0,0,0,0,0,0,0,1,0,0,0,0,0], [0,1,0,0,0,0,0,0,0,0,0,1,0,0,0], [0,0,1,1,0,0,0,0,0,1,0,0,0,0,0], [0,0,0,1,0,0,0,0,0,0,0,1,0,0,0], [0,0,0,0,1,0,0,0,0,0,0,1,0,0,0], [0,0,0,0,0,1,1,0,0,0,0,0,0,0,0], [0,0,0,0,0,0,1,0,0,0.
2022-01-23 09:15:53
3340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人