![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
科研自感
文章平均质量分 51
cjY135768
这个作者很懒,什么都没留下…
展开
-
驱动内核debug大战
序言:问题的开始,电脑又罢工啦,就这么离谱,好好的过几天甚至用着用着电脑就崩了,torch莫名不可以用了,cuda好好的就坏了,就这样我开始了漫长的跟我的主机相爱相杀,有时候恨不得罢工,不干了。可是我没有资本!!! 发现问题:回家到了实验室准备计算P值,运行电脑发现抱错,一开始以为是模型有问题,纳闷:为什么复制到服务器的模型就莫名粘贴回来不可以用了,师兄看了,原来是cuda不可以用了,我以为之前遇到一次,cuda不可以用了是重启电脑就行了,我就想先重启试试看,不行再重装,当然了,没有这么简单,重启后图标变大原创 2022-02-15 09:10:38 · 411 阅读 · 0 评论 -
transformer中的注意力相比于CNN中的注意力,效果好在哪里?
Q1:为啥transformer分割效果会比较好? A1:因为它是基于自注意力,(自学习来分配权重,是软注意力的一种升级(都是0~1之间的权重),软注意力是人为分配的,还有一种硬注意力,是0或1,分配或者不分配权重;而软注意力和自注意力都是多少会分配权重,只是有多有少的问题),解决长文本间的***依赖***(相互注意力权重的影响) Q2:但是CNN中也有注意力(或自注意力),它与trnsformer中的注意力机制有啥本质的区别? A2:首先明确注意力机制本身就起源于NLP,所以无论是注意力还是自注意力,都有原创 2021-08-07 19:25:48 · 1502 阅读 · 0 评论