- 博客(10)
- 收藏
- 关注
RSS订阅原创 Transformer第二篇：Encoder
Encoder作为Transformer的核心组件，负责接收输入序列，并通过。，了解其核心结构和工作机制，探讨如何在模型中高效地处理和编码输入信息。接下来，我们将进入 Transformer 的 Encoder 结构。上一章我们得到了一个批次下的张量，其形状为。的相关原理，并探讨了如何将句子转换为。在上一章，我们详细介绍了。在本章，我们将深入解析。
2025-02-27 19:49:43
439
原创 Transformer第一篇：Embedding
在 Transformer 训练时，我们根据训练集出现的词构建一个词汇表（Vocabulary），为每个 Token 分配一个唯一的整数索引（token id）。在人工智能的世界里，有一种技术已经改变一切——从机器翻译到智能对话，从图像生成到代码编写，它的身影无处不在。这个张量不仅包含了 单词的语义信息，还融入了 位置信息，为后续的 Transformer 计算做好了充分准备。sin 和 cos 是周期函数，能够自然适应更长的序列，即使序列比训练时的长度大，也能继续泛化。假设句子长度为5，词向量维度为4。
2025-02-27 19:29:53
1653
2
原创 在数据集有限的情况下，如何批量扩充训练集或数据集？（基于python利用旋转、镜像、添加高斯噪声的方法）
利用旋转、镜像、高斯噪声扩充数据集。
2023-04-18 22:45:25
2011
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人