transformer中patch与token？

在文章以及代码中经常会出现patch与token，那么他们之间的关系到底是什么呢？

token包含：class token、patch token，在NLP叫每一个单词为token，然后有一个标注句子语义的标注是CLS，在CV中就是把图像切割成不重叠的patch序列（其实就是token）

通过上图我们看到，embedding后，有三个token，分别是class token，patch token，distillation token，其中 distillation token我们不需要关注，因为这个是DeiT中的创新

class token其实就是：【Transformer】CLS（classification）有什么用？_马鹏森的博客-CSDN博客

patch token 就是：transform中的token理解（单词或词语的标记）_马鹏森的博客-CSDN博客_transformer中的token（）