Transformer大模型实战 从ALBERT 中提取嵌入

Transformer大模型实战 从ALBERT 中提取嵌入

1. 背景介绍

1.1 Transformer的发展历程

1.1.1 Transformer的诞生

1.1.2 Transformer的发展

1.1.3 Transformer的应用

1.2 ALBERT模型概述

1.2.1 ALBERT的创新点

1.2.2 ALBERT的架构

1.2.3 ALBERT的优势

1.3 词嵌入技术简介

1.3.1 词嵌入的概念

1.3.2 词嵌入的作用

1.3.3 词嵌入的发展历程

2. 核心概念与联系

2.1 Transformer的核心概念

2.1.1 Self-Attention机制

2.1.2 Multi-Head Attention

2.1.3 Positional Encoding

2.2 ALBERT的核心概念