![](https://img-blog.csdnimg.cn/969684ae81bb42cf90ba8cd7a91f9e8a.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
transformer
attention is all you need!
吴天德少侠
这个作者很懒,什么都没留下…
展开
-
3D图像的swin transformer的tensorflow2.x实现
tensorflow2.x,transformer原创 2023-02-20 10:37:16 · 786 阅读 · 5 评论 -
swin-transformer的理解以及tensorflow2的实现
实现了这个就实现了swin-block部分,现在主要实现了左边的部分再实现MLP层就可以堆叠出半个swin-block了,记录一下import tensorflow as tffrom tensorflow.keras.layers import (Input,Conv2D,Dense, LayerNormalization, ReLU,Add...原创 2022-03-05 22:43:05 · 1983 阅读 · 5 评论 -
tf2实现vit的transformer encoder构成的主要层
import osos.environ["CUDA_VISIBLE_DEVICES"]="-1" # 使用cpuimport tensorflow as tffrom tensorflow.keras.layers import (Layer,Conv2D,LayerNormalization,Dense, Input,Dropout,Softmax,Add)from tensorflow.keras.models im...原创 2022-02-27 03:17:24 · 410 阅读 · 0 评论 -
tensorflow2实现vision transformer
从结构来看,主要需要实现:patch_embedding;包括image的embedding+一个分类头,以及pos_embedding muliHead_Self_Attention;也就是怎么得到q、k、v,以及它们怎么乘得到attention MLP用这三个层就可以堆叠出一个transformer encoder,然后循环layer遍就可以了。然后取出第一个分类头,经过MLP_head(其实就是一个Dense层)做分类就结束了。让我们看代码吧:import warnings..原创 2022-02-19 18:45:03 · 756 阅读 · 0 评论 -
tensorflow2实现vision transformer完整版
import tensorflow as tffrom tensorflow.keras.layers import (Dense,Conv2D,LayerNormalization, Layer,Dropout,Input,GlobalAveragePooling1D, Add,Softmax,)from tensorflow.keras import Sequential.原创 2022-02-13 13:00:30 · 1052 阅读 · 0 评论 -
tensorflow2实现vision transformer
import tensorflow as tffrom tensorflow.keras.layers import (Dense,Conv2D,LayerNormalization, Layer,Dropout,Input,GlobalAveragePooling1D,)from tensorflow.keras import Sequential,Modelclass Identity(Layer): # usage: .原创 2022-02-13 00:52:28 · 304 阅读 · 0 评论