attention和self-attention和co-attention
-
![在这里插入图片描述](https://img-blog.csdnimg.cn/c43b687efc13411aa2d7470c385d5b6a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAZm9jdXNfY2xhbQ==,size_20,color_FFFFFF,t_70,g_se,x_16)
Attention和self-attention其具体计算过程是一样的,只是计算对象发生了变化而已。
attention是source对target的attention,
而self attention 是source 对source的attention。
参考材料1
-
co-attention和attention
![在这里插入图片描述](https://img-blog.csdnimg.cn/13d9b6b1036e4cd4961c51b6f375b88d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAZm9jdXNfY2xhbQ==,size_20,color_FFFFFF,t_70,g_se,x_16)
参考材料2
*args和**kwargs
![在这里插入图片描述](https://img-blog.csdnimg.cn/e60244a7eef6457fa9abb2246f23ebec.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAZm9jdXNfY2xhbQ==,size_20,color_FFFFFF,t_70,g_se,x_16)
resnet32在cifar100上训练
参考材料3
参考材料4
git如何切换用户
参考材料5
python如何判断一个目录下是否存在某个文件
os.path.exists(filename)
参考材料6