前沿系列--Transform架构[架构分析+代码实现]

前言

Transform这玩意的大名我想就不用我多说了。那么我们今天要做的就是对Transform架构进行了解，并且使用Pytorch进行一个编写实现。（其实这边博文的话很早之前就差不多写好了，但是话我本人喜欢做一个系列就一直没发布）由于描述的是一种架构，因此好消息是，对于新的理论部分没有啥要求。但是坏消息是，需要一定的前期知识储备。我们这边还是拿到NLP任务来进行展开，虽然Transform这个玩意作为一个架构不仅仅在NLP领域进行应用在CV领域等等也在用，但是一开始的来源还是这个NLP这边来的，一条时间线可以注意一下就是2017提出了Transform，2018 Bert出来了，2020 GPT3都出来了。最近ChatGPT都杀疯了。只能说时代变化太快，从大二入坑差不多一年了，还在水里爬。OK，废话不多少我们开始吧，那么在开始之前的话，我们期望你已经阅读了这篇博文：还在调API写所谓的AI“女友”，唠了唠了，教你基于python咱们“new”一个（深度学习） 因为会有一些奇怪的比喻来自这里，当然如果对应Seq2Seq有一定了解或者做过类似的任务的话，那么welcome here！