Transformer是基于注意力机制的编码器和解码器。而BERT使用了Transformer的编码器,使用了完形填空的自监督的训练机制。MAE把训练拓展到没有标签的数据上。
Transformer的应用
最新推荐文章于 2024-07-16 17:30:24 发布
Transformer是基于注意力机制的编码器和解码器。而BERT使用了Transformer的编码器,使用了完形填空的自监督的训练机制。MAE把训练拓展到没有标签的数据上。