深度学习
文章平均质量分 67
a493001894
这个作者很懒,什么都没留下…
展开
-
KL散度的计算及其相关问题题
KLKL散度计算,softmaxsoftmax,可不可以用sigmoidsigmoid,KLKL散度为负数原创 2022-10-20 17:23:41 · 1338 阅读 · 1 评论 -
Bottleneck Layer层
Botleneck是ResNet的核心内容之一(图右),主要是用了两个1∗11*11∗1的卷积用来减少和增加维度,他的作用是减少计算量,它由三层结构1∗1,3∗3,1∗11*1,3*3,1*11∗1,3∗3,1∗1卷积,第一个1*1卷积用来减少维度,如上图将256维度减少到64维度;第二个1∗11*11∗1卷积用来增加维度,如上图是从64维增加到256维度,从维度上来看输进去的是256,中间变成了64,输出的又是256,看起来想是脖子部分,所以叫做Bottleneck(瓶颈)层...原创 2022-04-30 17:14:19 · 886 阅读 · 0 评论 -
SW-MSA
SW-MSAShifted-Window 如上图所示,每一个小块叫做一个patch,每一个深色方块框起来的叫一个local window,在每一个local window中计算self-attention。如果是只计算一次self-attention,每个local window之间是孤立的,相互之间不会产生联系,但是实际上所有的patch组成了一张图片,他们之间应该有关联才对。所以们引入了shifted-window进行了第二次self-attention。 如下图所示,分割图片的win.原创 2021-12-29 18:09:48 · 2849 阅读 · 0 评论