- 博客(3)
- 收藏
- 关注
原创 大模型学习笔记——模型架构
7.1 模型概括分词架构:Transformer7.2 分词句子转化成单词序列。7.2.1 基于空格分词字节编码(BPE)BPE 算法的基本步骤:1. 初始化词汇表:将输入文本中的每个字符或字符组合作为初始的词汇表。2. 计算字符(或字符组合)的频率:统计文本中每个字符(或字符组合)的频率,并构建一个频率字典。3. 合并最频繁的字符(或字符组合):选择频率最高的字符(或字符组合)并将其合并为一个新的字符或字符组合。更新词汇表和频率字典。
2023-12-17 23:59:28 977 1
原创 大模型学习笔记二——大模型的能力
任务在这被定义为从输入到输出。(这个适应可以理解为,原来就是模型只是单纯的理解这句话,适应之后能够回答这句话)。这个过程要两个输入:1、任务的自然语言描述;2、训练(一是有监督的学习另一个是通过上下文学习。关于GPT-3的任务的讨论点和结果之类的。
2023-12-13 20:45:47 448 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人