Transformer 已经成为了前沿人 AI 技术的代名词,尤其是在自然语言处理(NLP)这一领域。
那么,是什么使得 Transformer 能够如此高效准确地掌握语言的复杂性呢?
让我们一起深入探索 Transformer 架构的核心原理。
但在此之前,不妨先看看它的应用场景。无论是你使用的谷歌翻译还是 ChatGPT,它们背后的强大功能都离不开 Transformer。
谷歌翻译:这个被广泛使用的工具在很大程度上依靠 Transformer 技术,实现了对超过 100 种语言的快速准确翻译。它能够考虑到整个句子的上下文,而非仅仅是单个词语,使得翻译结果更加自然流畅。
Netflix 推荐系统:Netflix 是如何精准推荐你可能喜欢的电影和电视剧的?答案是通过分析你的观看历史和其他用户的数据,Transformer 能够识别出模式和联系,最终向你推荐个性化的内容。
#01
概览:编解码器交响
想象一个特殊的工厂,它不是在组装物理产品,而是在加工处理语言。这个工厂主要由两个部分组成:
-
编码器(Encoder):它负责提取信息,通过细致分析输入文本,理解文本中各个元素的含义,并发现它们之间的隐藏联系。
-
解码器(Decoder):依托编码器提供的深入洞察,解码器负责生成所需的输出,无论是将句子翻译成另一种语言、生成一个精确的摘要,还是创作一首全新的诗歌。
编码器:解码输入迷宫
编码器的旅程从 “输入嵌入” 开始,此过程中,每个单词都从文本形态转换为数值向量,就好像给每个单词配上了一个独一无二的身份证。
以这个例子为例:
输入文本:例如,“The cat sat on the mat.”
在输入嵌入层,每个单词都被翻译成一个数值向量,就像在一个庞大的字典里,每个单词都有一个对应的 “向量地址”。
这些向量不仅捕捉了单词的含义,还包括:
-
语义关系(比如,“cat” 和 “pet” 更近,而不是和 “chair”);
-
句法角色(比如,“cat” 通常作为名词,“sat” 作为动词);
-
句中上下文(比如,这里的 “mat” 很可能是指地垫)。
向量表示如下:
-
“The” -> [0.2, 0.5, -0.1, …]
-
“cat” -> [0.8, -0.3, 0.4, …]
-
“sat” -> [-0.1, 0.7, 0.2, …]
但编码器的工作远不止于此,它还使用了一些关键技术来进一步深入。
自注意力机制是其中的革命性创新。想象为对每个单词打开一束聚光灯,这束光不仅照亮了该单词,还揭示了它与句中其他单词的联系。这让编码器能够理解文本的全貌 —— 不只是孤立的单词,还有它们之间的联系和细微差别。
再次以句子 “The quick brown fox jumps over the lazy dog.” 为例:
首先,每个单词都转换成了一个数值表示,称为 “词嵌入”,就像在一个巨大的词库地图上给每个单词定位。
接下来,自注意力机制为每个单词生成了三个特殊的向量:“查询(Query)”(询问我需要什么信息)、“键(Key)”(标示我有什么信息)和 “值(Value)”(实际的含义和上下文)。
然后,通过比较每个单词的 “查询” 向量与其他所有单词的 “键” 向量,自注意力层评估了各个单词之间的相关性,并计算出注意力得分。这个得分越高,表示两个单词之间的联系越紧密。
最后,自注意力层根据注意力得分加权处理 “值” 向量,这就像根据每个单词与当前单词的相关度,取了一个加权平均值。
通过考虑句中其他单词提供的上下文,自注意力机制为每个单词创建了一个新的、更丰富的表示。这种表示不仅包含了单词本身的含义,还有它如何与句中其他单词关联和受到影响。
多头注意力机制(Multi-Head Attention)可以被理解为有多个分析小组,每个小组关注于词与词之间联系的不同层面。这使得编码器能够全面捕获词义之间的多元关系,从而深化其对语句的理解。
还是以句子:“The quick brown fox jumps over the lazy dog.”为例。
在多头注意力机制中,不同于只使用一个自我关注机制,我们有多个独立的 “头部”(通常是 4 到 8 个)。每个头部都针对每个词分别维护一套查询(Query)、键(Key)和值(Value)向量。
这种机制下的注意力是多样化的:每个头部根据不同的逻辑计算注意力得分,聚焦于词间关系的不同方面:
-
一个头部可能专注分析语法角色,比如 “fox” 和 “jumps” 之间的关系。
-
另一个可能关注词序,比如 “the” 和 “quick” 之间的顺序。
-
还有的头部可能识别同义词或相关概念,例如将 “quick” 和 “fast” 视为相近的词。
通过结合这些不同头部的观点,每个头部的输出被汇总,综合不同的洞察力。
最终,这种综合的表示形式包含了对句子更加丰富的理解,涵盖了词与词之间的多样化关系,而不仅仅是单一视角。
**位置编码(Positional Encoding)是为了补充 Transformer 无法直接处理词序的不足,加入了每个词在句中位置的信息。**可以想象成给每个分析员一张地图,指示他们应该如何按顺序审视词汇。
继续以句子:“The quick brown fox jumps over the lazy dog.” 为例,来看位置编码是如何工作的:
首先,每个词(如 “The”,“quick” 等)都被转换成一个唯一的数字向量,这就是所谓的单词嵌入,可以看作是在庞大的词库中为每个词分配的唯一标识。
接着,每个词的嵌入会和一个基于其在句中位置计算出的额外向量结合。这些位置向量通过正弦和余弦函数生成,能够反映词之间的远近关系。
-
低频波动揭示词之间的长距离关系。
-
高频波动则关注紧密相连的词。
这样,每个词的原始向量与其位置向量相加,形成了一个既含有词义也含有位置信息的新向量。
即便句子的顺序变化,位置向量也能保持词之间的相对位置关系,使得模型能准确理解词与词之间的连接。
前馈网络(FFN,Feed Forward Network)为模型增添了一层非线性处理,使其能够学习到更为复杂的单词间关系,这些关系可能单凭注意力机制难以捕捉。
通过前面几层的分析,你已经深入理解了句中单词的含义、它们之间的联系以及它们的位置。现在,FFN 就像是一只侦探用的放大镜,准备揭示那些不立即显现的复杂细节。
FFN 通过以下三个关键步骤来实现这一目标:
-
非线性变换:FFN 通过使用 ReLU 等非线性函数来增加信息的复杂性,而非直接进行简单计算。可以想象它为现有信息施加了一个特殊的滤镜,揭露了那些简单运算可能忽视的隐藏模式和联系。这使得 FFN 能够把握词与词之间更加细腻的关系。
-
多层次分析:FFN 不是单一步骤,而是通常由两层或更多的全连接层组成。每一层都在前一层的基础上进一步转换信息,就像你在不断放大镜下审视句子,每一层都揭示出更多细节。
-
维度变换:在第一层,FFN 将信息维度扩展(如从 512 维扩到 2048 维),以便分析更多特征并捕捉更复杂的模式。这就像是在更大的画布上展开信息进行深入审查。随后,在最终层将信息维度缩减回原始大小(比如又回到 512 维),确保与后续层的兼容性。
应用到我们的句子上:
想象 FFN 帮助识别 “quick” 和 “brown” 不仅描述了 “fox”,还通过它们联合的含义巧妙地与 “fox” 的速度感联系起来。
或者,它可能深入探究 “jumps” 和 “over” 之间的关系,理解这个动作和空间关系,超越了它们单独的定义。
重复、优化、再重复:自注意力、多头注意力等层被叠加并多次重复。每一次迭代,编码器都在精细化其对输入文本的理解,构建出一个全面的文本表征。
解码器:编织输出挂毯
现在,轮到解码器承担任务。与编码器不同的是,解码器面临着额外的挑战:在不预见未来的情况下,逐字生成输出。为此,它采用了以下策略:
-
掩蔽自注意力:类似于编码器的自注意力机制,但有所调整。解码器仅关注之前已生成的单词,确保不会利用到未来的信息。这就像是一次只写出一个句子的故事,而不知道故事的结局。
-
编码器 - 解码器注意力:这一机制允许解码器参考编码好的输入,就像写作时回头查看参考资料一样。这确保了生成的输出与原始文本保持一致性和连贯性。
-
多头注意力和前馈网络:与编码器相同,这些层帮助解码器深化对文本中上下文和关系的理解。
-
输出层:最终,解码器将其内部表征逐一转化为实际的输出单词。这就像是最后的装配线,把所有部件组合起来,形成期望的结果。
#02
超越基本概念
请记住,这只是 Transformer 世界迷人之处的一瞥。具体的架构会根据任务和数据集的不同而有所变化,包括不同数量的层和配置。
此外,每一层涉及的复杂数学运算超出了本解释的范围。
但希望这能让你基本理解 Transformer 如何工作,以及它们是如何彻底改变自然语言处理(NLP)领域的。
因此,当你下次遇到流畅的机器翻译或对 AI 驱动的文本生成器的创意赞叹时,请记住 Transformer 内部编码器与解码器之间的精妙互动,它们是如何通过注意力机制和并行处理技术共同织就这场魔法的。
题外话
黑客&网络安全如何学习
今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。
1.学习路线图
攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
🐵这些东西我都可以免费分享给大家,需要的可以点这里自取👉:网安入门到进阶资源
3.技术文档和电子书
技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
🐵这些东西我都可以免费分享给大家,需要的可以点这里自取👉:网安入门到进阶资源
4.工具包、面试题和源码
“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等,感兴趣的同学不容错过。
还有我视频里讲的案例源码和对应的工具包,需要的话也可以拿走。
🐵这些东西我都可以免费分享给大家,需要的可以点这里自取👉:网安入门到进阶资源
最后就是我这几年整理的网安方面的面试题,如果你是要找网安方面的工作,它们绝对能帮你大忙。
这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的,如果大家有好的题目或者好的见解欢迎分享。
参考解析:深信服官网、奇安信官网、Freebuf、csdn等
内容特点:条理清晰,含图像化表示更加易懂。
内容概要:包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
🐵这些东西我都可以免费分享给大家,需要的可以点这里自取👉:网安入门到进阶资源
————————————————
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。