- 博客(3)
- 收藏
- 关注
RSS订阅原创 大模型学习笔记——模型架构
7.1 模型概括分词架构：Transformer7.2 分词句子转化成单词序列。7.2.1 基于空格分词字节编码（BPE）BPE 算法的基本步骤：1. 初始化词汇表：将输入文本中的每个字符或字符组合作为初始的词汇表。2. 计算字符（或字符组合）的频率：统计文本中每个字符（或字符组合）的频率，并构建一个频率字典。3. 合并最频繁的字符（或字符组合）：选择频率最高的字符（或字符组合）并将其合并为一个新的字符或字符组合。更新词汇表和频率字典。
2023-12-17 23:59:28
960
1
原创 大模型学习笔记二——大模型的能力
任务在这被定义为从输入到输出。（这个适应可以理解为，原来就是模型只是单纯的理解这句话，适应之后能够回答这句话）。这个过程要两个输入：1、任务的自然语言描述；2、训练（一是有监督的学习另一个是通过上下文学习。关于GPT-3的任务的讨论点和结果之类的。
2023-12-13 20:45:47
439
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人