动手写SelfAttetion和transformer Encoder模型实现电影情感分类
通过代码学习,加深对Self Attention 和 Transformer 模型实现理解
-
数据预处理分析,掌握torchtext 在数据预处理应用
-
Self Attention 机制模型训练
a t s = e m b ( x t ) T e m b ( x s ) a_{ts} = emb(x_t)^T emb(x_s) ats
动手写SelfAttetion和transformer Encoder模型实现电影情感分类
通过代码学习,加深对Self Attention 和 Transformer 模型实现理解
数据预处理分析,掌握torchtext 在数据预处理应用
Self Attention 机制模型训练
a t s = e m b ( x t ) T e m b ( x s ) a_{ts} = emb(x_t)^T emb(x_s) ats