一、Transformer是什么
Transformer是一种深度学习模型架构,最初由Google的研究团队在2017年提出。这种架构最早用于自然语言处理(NLP),但后来也在其他领域表现出色。Transformer的关键特点是其自注意力机制(Self-Attention Mechanism),它允许模型在处理数据时考虑输入序列的不同部分之间的关系。
简单点可以认为:Transformer = self-attention+encoder+decoder
例如GPT就用到了Transformer,GPT全称Generative Pre-trained Transformer。
Generative:即用来生成新文本的机器人
Pre-trained:“预训练”指的是模型经历了从大量数据中学习的过程
“预”字则暗示 模型能针对具体任务 通过额外训练来进行微调
Transformer:是一种特殊的神经网络,一种机器学习模型,它是当今AI热潮的核心发明。
二、Transformer特点
自注意力机制:Transformer通过自注意力机制来捕捉输入序列中各个位置之间的依赖关系,而不依赖于序列的顺序。这样做使得模型能够并行处理数据,提高了训练效率。
编码器-解码器结构:标准的Transformer模型包含两个主要部分:编码器和解码器。编码器负责处理输入数据,解码器生成输出数据。编码器和解码器由多个层堆叠而成。
位置编码:由于Transformer模型本身不考虑序列的顺序,因此需要引入位置编码来为模型提供序列中元素的位置信息。
三、Transformer应用领域
自然语言处理(NLP):Transformer在NLP任务中表现非常出色,如机器翻译(例如BERT、GPT系列)、文本生成、文本分类、情感分析等。
计算机视觉:Transformer模型也被应用于图像处理任务,例如图像分类和目标检测(例如Vision Transformer,ViT)。
时间序列分析:Transformer可以用于处理时间序列数据,如金融预测和气象预测等。
语音处理:用于语音识别和语音生成等任务。
四、理解Transformer
Transformer 首次出现于2017年的的一篇著名论文《Attention Is All You Need》,截止至2024年7月24日晚10点,被引12w+
论文最初将Transformer架构用于机器翻译。
Transformer将注意力模块和多层感知模块层层堆叠
许多视频或论文里会看到Feed Forward Network层,其实Feed Forward Network 就是一个MLP,多层感知机
当然,Transformer有多种应用场景,如语音转文本
文本转语音
文本转图像等等
然而,GPT就是做预测的,给出一个开头,不断重复预测下一个出现的单词,例如:
我特别喜欢的一种功能是能看到它在选取每个新词时,背后的概率分布。
机器学习都是数据驱动的,就是学习参数,拟合我们希望的结果,GPT-3的参数多达1750亿个。
五、小Tip
Transformer不需要复杂的RNN结构,完全基于自注意力机制。
知识来源于KnowingAI知智:https://www.bilibili.com/video/BV1Zz4y127h1/?spm_id_from=333.337.search-card.all.click&vd_source=ea5c910bfe0c11f0edf9f3a8da1dd52a
神奇的3Blue1Brown:https://www.bilibili.com/video/BV13z421U7cs/?spm_id_from=333.337.search-card.all.click&vd_source=ea5c910bfe0c11f0edf9f3a8da1dd52a